2017年11月_打工人小飞

原创主成分分析（PCA）一次讲个够

PCA 简介多元统计分析中普遍存在的困难中，有一个困难是多元数据的可视化。matlab 中的 plot 可以显示两个变量之间的关系，plot3 和surf 可以显示三维的不同。但是当有多于3个变量时，要可视化变量之间的关系就很困难了。幸运的是，在一组多变量的数据中，很多变量常常是一起变动的。一个原因是很多变量是同一个驱动影响的的结果。在很多系统中，只有少数几个这样的驱动，但是多余的仪器使我们测量了很

2017-11-29 11:31:46 57399 6

原创 5 分钟带你弄懂 k-means 聚类

聚类与分类的区别分类：类别是已知的，通过对已知分类的数据进行训练和学习，找到这些不同类的特征，再对未分类的数据进行分类。属于监督学习。聚类：事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习。关于监督学习和无监督学习，这里给一个简单的介绍：是否有监督，就看输入数据是否有标签，输入数据有标签，则为有监督学习，否则为无监督学习。更详尽的解释会在后续

2017-11-08 16:16:23 116655 83

原创对比欧氏距离与余弦相似度

欧式距离欧氏距离就是我们平常所说的距离，如果是平面上的两个点 A(x1,y1)A(x_1,y_1) 和 B(x2,y2)B(x_2,y_2) ，那么 A 与 B 的欧式距离就是 (x1−x2)2+(y1−y2)2‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√\sqrt{(x_1-x_2)^2+(y_1-y_2)^2} ；如果是三维空间中的两个点 A(x1,y1,z1)A(x_1,y_1,z_1) 和

2017-11-07 16:48:20 21523 3

原创如何通俗易懂地理解皮尔逊相关系数？

要理解 Pearson 相关系数，首先要理解协方差（Covariance）。协方差表示两个变量 X，Y 间相互关系的数字特征，其计算公式为：COV(X,Y)=1n−1∑n1(Xi−X⎯⎯⎯)(Yi−Y⎯⎯⎯)COV(X,Y)=\frac{1}{n-1}\sum_1^n(X_i-\overline X)(Y_i-\overline Y)当 Y = X 时，即与方差相同。当变量 X，Y 的变化趋势一致时

2017-11-06 11:45:57 72807 6

原创 linux 中 xargs、cut 以及管道综合应用

熟练掌握 linux 各种命令以及管道的使用，无疑让工作效率大幅增加。笔者在做实验时，免不了各种文件的频繁操作，而且文件数量庞大，若以手工方式处理，效率低下不说，还容易出错。今天，结合一个具体实例场景，来谈谈 linux 中 xargs、cut 以及管道的使用。备忘之，分享之。1.批量新建文件夹在当前路径下新建两个文件夹，并进入 alltxt 文件夹，批量创建100个文件夹：cd alltxt

2017-11-30 14:06:31 1818

原创 centos 7 下搭建 tensorflow+keras 深度学习环境

之前在阿里云服务器上搭建过 docker+tensorflow+keras 的深度学习环境，由于服务器停用等一系列问题，不得不在本地服务器重新搭建环境，本次以 root 用户直接操作，不再使用 docker 容器。作为分享和备忘，特此记录。1.python2.7.5 安装centos 系统自带 python，此步骤可省略（Mac Os 同样可省略此步骤），当然，也可升级 python3.x 版本。

2017-11-22 17:31:16 6822 1

原创常用的数量统计量的计算及统计意义

数量统计量是只适合数量类型数据的统计量，使我们最常见的统计量。笔者之前对资料特征数的计算作了简单地介绍，详情可跳转至资料特征数的计算，本片博客力求全面和简洁易懂。对于数量类型的数据样本 X1,X2,⋯,Xn，X_1, X_2, \cdots ,X_n ，其数量统计量定义如下：均值（Mean）X⎯⎯⎯=1n∑n1Xi\overline X = \frac{1}{n}\sum_1^nX_i 很简单

2017-11-02 20:20:17 9201

黄飞的博客专栏