自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

藏知阁

以文会友

原创 B+树

MySQL中 B+树和B树的不同之处: 1、非叶节点如果有k个元素,则必有k个孩子节点; 2、所有父节点元素都同时存在于子节点元素中,在子节点元素中是最大或最小的元素; 3、所有的叶子节点包含了全部元素,且从小到大排序,节点间用指针链接起来。 例子,下面是[1, 2, 3, 5, 6, 8, 9,...

2020-02-13 18:52:33 20 0

原创 B树

MongoDB索引主要用的数据结构是B树。 B树(Balance Tree,B-Tree),是一棵多路平衡查找树。 一个m阶的B树具有如下几个特征: 1、根节点包含的元素数量范围:1≤k≤m−11 \le k \le m-11≤k≤m−1;比如5阶B树,1≤k≤41 \le k \le 41≤k≤...

2020-02-13 18:11:35 49 0

原创 PuLP—线性规划高级例子

文章来自Optimization Modeling in Python: PuLP, Gurobi, and CPLEX,加入个人见解。 问题: min∑i=1n∑j=1mcijxijs.t.∑i=1naijxij≤bj∀jxij≥lij∀i,jxij≤uij∀i,j \begin{aligned...

2020-02-11 13:58:18 148 0

原创 使用高斯混合模型进行聚类

如下图所示是600个数据点: 生成模拟数据 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture n_samples ...

2020-01-20 19:19:03 51 0

原创 随机森林可视化

环境:Windows 10,Python 3.7 首先需要安装Graphviz,这里我们使用的是graphviz-2.38.msi,安装在D:\Program Files (x86)\Graphviz2.38。 代码: import os from sklearn.datasets import ...

2019-09-22 10:50:22 970 0

原创 手撕随机森林的超参数

from sklearn.ensemble import RandomForestRegressor # 默认参数 model = RandomForestRegressor(n_estimators=10, criterion="mse", ...

2019-09-20 10:15:51 500 0

原创 基于遗传算法的车辆路径规划问题

point demand x y n1 2.3 -5 7 n2 1.6 0 -10.1 n3 n4 n5 n6 n7 n8 n9 总共有9个点,简单起见,我们编号为1、2、…、9,起点编号为0。 一个方案就是一个...

2019-09-09 01:36:50 3717 2

原创 单纯型

maxz=2x1+3x2+x3s.t.x1+x3=5x1+2x2+x4=10x2+x5=4xj≥0,j=1,2,⋯ ,5 \begin{aligned} max \quad & z=2x_1+3x_2+x_3 \\ s.t. \quad &a...

2019-08-12 21:29:10 21 0

原创 CentOS7使用快速入门

查看系统版本 # cat /etc/system-release # cat /etc/redhat-release # cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) 安装软件包 使用yum相关命令 yum makeca...

2019-06-25 11:26:55 1339 0

原创 谷歌OR-Tools解决车辆路径规划问题笔记

RoutingIndexManager RoutingModel routing.IsVehicleUsed(assignment, vehicle_id) 返回布尔型,表示该车是否被使用。 Assignment Assignment是一个"变量 -> 域"的映射,用来输...

2019-06-20 13:58:22 1533 0

原创 PuLP—整数规划例子

一个简单的整数规划问题: \begin{equation} \begin{aligned} & max & \quad x+y+2z \ & s.t. & \ & \quad & x+2y+3z \le 4 \ & \quad &...

2019-05-08 14:11:26 1012 5

原创 PuLP—查询本地已安装好的优化器

PuLP支持多种优化器进行运算,查询优化器是否可用代码: # coding=utf-8 from inspect import getmembers import pulp for m in getmembers(pulp.solvers): try: if isins...

2019-05-08 11:55:20 552 0

原创 预测评价指标RMSE、MSE、MAE、MAPE、SMAPE

RMSE 均方根误差(Root Mean Square Error) MSE 均方误差(Mean Square Error) MAE 平均绝对误差(Mean Absolute Error) MAPE 平均绝对百分比误差(Mean Absolute Percentage Error) ...

2019-02-21 10:50:31 46308 19

原创 使用XGBoost进行时间序列预测流程代码

原始数据 也就是两列数据,一列是时间,一列是电力消耗量: Datetime,PJME_MW 2002-12-31 01:00:00,26498.0 2002-12-31 02:00:00,25147.0 2002-12-31 03:00:00,24574.0 2002-12-31 04...

2019-02-20 21:52:01 6792 2

原创 Python生成requirements.txt文件

参考 使用自带pip $ pip freeze > ./requirements.txt 这种方法缺点是会把环境中所有安装的包都包括进来。 使用pipreqs包 安装 $ pip install pipreqs 在项目根目录下,使用 $ pipreqs ./ ...

2019-02-20 11:55:01 1580 0

原创 Redis入门

常用命令 哨兵服务器 连接 $ ./redis-cli -h 192.168.0.1 -p 8001 查看信息 $ 192.168.0.1:8001> info # Server redis_version:2.8.19 redis_git_sha1:...

2019-02-19 18:09:01 35 0

原创 使用Impyla连接Hive

依赖: sasl-0.2.1 six-1.12.0 thrift-0.11.0 thrift-sasl-0.3.0 安装sasl时报错:sasl/saslwrapper.h:22:10: fatal error: sasl/sasl.h: No such file or direct...

2019-02-18 15:50:40 234 0

原创 Python多进程多线程详细剖析

主要涉及的模块: threading multiprocessing concurrent.futures

2019-02-15 13:46:19 66 0

原创 使用PyHive连接Hive数据仓库

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Cannot initialize Cluster. Please check your configuration ...

2019-02-13 15:26:22 3558 0

原创 TensorFlow笔记——常用运算函数解析

1. 矩阵乘法 tf.matmul(a, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, name=None) 函...

2019-02-12 16:51:15 117 0

原创 Pandas各种骚操作

找出NaN值的位置: df.isnull().stack()[lambda x: x].index.tolist()

2019-01-08 20:28:39 310 0

原创 论文解读—Deep Multimodal Hashing with Orthogonal Regularization

占坑

2018-12-19 14:39:41 164 0

原创 Docker常用命令

# docker build # docker build -t prediction-api . 镜像管理 保存和加载 # docker save -o myimage.tar myimage # docker load myimage.tar ...

2018-11-09 11:17:57 127 0

原创 使用Supervisor和Gunicorn部署Flask应用入门

最简单的Flask Web应用: myapp.py from flask import Flask app = Flask(__name__) @app.route('/') def index(): return 'Hi! It work...

2018-11-09 11:08:47 2536 2

原创 Hive之常用运算符和函数

用户手册 日期函数 int datediff(string enddate, string startdate) 返回从startdate到enddate的天数。 例子: hive> select datediff('2009-...

2018-11-07 14:17:03 1233 0

原创 HBase入门基本:命名空间、建表、增删改查

进入HBase数据库 # hbase shell 注意HBase Shell 中的回格键没用,要用【Ctrl+Backspace】,每个命令之后不需要分号(;)结束。 HBase帮助命令: hbase&gt...

2018-11-02 16:14:08 39575 0

原创 Hive高级教程

set hive.groupby.skewindata=true; 当HQL语句中有GROUP BY时,默认情况下,Hive将具有相同分组键的数据放入同一个Reducer。如果分组键的不同值具有数据倾斜,则一个Reducer可能会获得大部分数据,与其他Reducer相比,这个Reducer需...

2018-09-29 15:36:56 92 0

原创 Hive入门基本:建表、增删查改

最基本的建表语句: create table student( id string comment '学号', name string comment '姓名', sex string comment '性别', age str...

2018-09-27 15:58:50 2021 0

原创 Ubuntu 18.04 Anaconda使用

Anaconda官网下载 学过Python的估计都知道virtualenv可以用来创建Python的虚拟环境,然而它的一个缺点是难以指定Python的确切版本,比如电脑只安装了Python 3.6,那我们就只能以Python 3.6为基础环境,然后安装任意版本的第三方包。 Anacon...

2018-09-11 11:28:58 4798 0

原创 Gurobi之Python调用实例——简单整数规划

一个简单的整数规划问题: maxs.t.x+y+2zx+2y+3z≤4x+y≥1x,y,zbinary(78)(78)maxx+y+2zs.t.x+2y+3z≤4x+y≥1x,y,zbinary\begin{equation} \begin{aligned} & max & \q...

2018-09-10 23:46:26 6657 1

原创 大数据基本组件(Hadoop、HDFS、MapRed、YARN)入门命令

HDFS、MapRed、YARN是Hadoop大数据的基础组件,安装好Hadoop之后,这些组件自然包含在里面。 正常安装Hadoop之后,通常可以通过环境变量$HADOOP_HOME知道Hadoop的安装位置: $ echo $HADOOP_HOME 切换到Hado...

2018-08-28 09:41:44 785 0

原创 [LeetCode] 01 Matrix

题目: 01矩阵 思路: 首先想到的就是穷举遍历的方法了,不过穷举也有点规律。 我们以矩阵中的一个1为例,如下图,有颜色的的格子的数字表示距离,每一层也都是正方形,只不过这个正方形旋转了45°。 麻烦的地方在于数组下标的确定,对于每一层,可以先确定上下左右4个点,然后根据上点和下点确...

2018-04-28 10:22:14 139 0

原创 语义角色标注入门

语义角色标注(Semantic Role Labeling)的目标主要是识别出句子中Who did What to Whom, When and Where。 英文数据集主要有CoNLL-2005和CoNLL-2012提供的标注数据集,其中CoNLL-2005的数据集来源于Penn Tree B...

2018-04-26 23:50:45 1096 2

原创 解码之Beam Search算法

解码是seq2seq模型的常见问题,常用方法有贪心搜索(Greedy Search)集束搜索(Beam Search)。 简单贪心搜索 From [1] 如图,Decoder根据Encoder的中间语义编码向量ccc和<s>标签得到第一个输出的概率分布[0.1...

2018-04-14 11:49:24 4449 0

原创 [TensorFlow笔记] GPU环境搭建

系统:Ubuntu 16.04 安装 首先要下载NVIDIA公司提供的两个文件:CUDA(下载地址)和cuDNN(下载地址),下载需要注册账号,有点坑爹。 CUDA建议下载runfile(local)文件类型,cuDNN要同时下载Runtime和Development两个deb包。 注...

2018-04-06 17:46:19 381 0

原创 论文解读—Head-Lexicalized Bidirectional Tree LSTMs

从题目就可以明确看出,在Tree LSTMs的基础上,贡献有两点: Head-Lexicalized,增加了短语的中心词(Head Word)信息 Bidirectional,基本的树形LSTM是自底向上(Bottom-up)构建一棵树的,论文增加了自顶向下(Top-down)的计算机制 ...

2018-04-01 12:56:44 1103 1

原创 手撕t-SNE算法

t-SNE(t-Distributed Stochastic Neighbor Embedding)即t分布随机邻近嵌入,类似于PCA,是一种数据降维方法,与PCA不同的是,它是非线性的。 SNE 假设我们的原始数据矩阵为X∈Rn×mX∈Rn×m\mathbf{X} \in \mathbb...

2018-03-29 14:39:28 711 4

原创 相对熵(KL散度)计算过程

KL散度(Kullback-Leibler Divergence)也叫做相对熵,用于度量两个概率分布之间的差异程度。 离散型 DKL(P∥Q)=∑i=1nPilog(PiQi)DKL(P∥Q)=∑i=1nPilog(PiQi) D_{KL}(P \parallel Q)= \sum_{i=...

2018-03-29 00:59:41 9369 0

原创 [TensorFlow笔记] TensorBoard可视化

多元线性回归(数据是经典的Boston房价预测): # coding=utf-8 import numpy as np import tensorflow as tf from sklearn.datasets import load_boston # NumPy data X, y = ...

2018-03-27 19:37:10 270 1

原创 主成分分析与奇异值分解的关系

假如我们的原始数据矩阵是XX\mathbf{X},维度是n∗mn∗mn * m。 主成分分析: 首先计算XXX的协方差矩阵C=Cov(X)C=Cov(X)C=Cov(X),CCC的维度是m∗mm∗mm*m,然后对协方差矩阵进行特征分解: C=PΛP−1C=PΛP−1 C=P\Lambda P...

2018-03-25 19:52:15 1278 0

提示
确定要删除当前文章?
取消 删除