2017年08月_cqychen

12月 10月 09月 08月 07月 05月 04月 03月

转载转载pca的数学原理（看别人转载的格式不太好看，就自己转一下，经典保留）

from：http://blog.codinglabs.org/articles/pca-tutorial.html PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中

2017-08-31 17:24:38 410

原创机器学习之决策树

决策树概述因变量为类别分类树ID3以及ID45算法cart算法因变量为连续值回归树cart算法决策树概述决策树相当于if-then的感觉，从树的根节点出发，进行判断。其中非叶子节点是特征的筛选。现在机器学习中用的比较多的算法xgboost以及gbdt都是以决策树作为基础，准确的说是回归树，采用cart树。简单的说分类树，比如判断第一次见面判断一个人是否有钱，打扮是否整洁？衣服/鞋子/裤子是

2017-08-30 19:52:04 583

原创机器学习之KNN(k-nearest-neighbor)算法

knn算法简介kd树knn算法简介有句话叫近墨者黑近朱者赤，就是你是啥样的人，看看你周围的人就知道了。其实kNN算法从原理上和这个是一致的，这里的k指的是离需要预测的点的最近的k个实例。当我们采用knn算法进行训练的时候，所有的训练集数据都是算法的参数，这也叫做无参数模型。模型训练出来之后，将需要预测的点和其最近的k个点进行比较。如果做分类，就是这k个中类别最多的类型作为结果，如果是回归，可以采用

2017-08-24 21:17:53 590

原创机器学习之感知机模型及其实现

感知机模型感知机算法感知机损失函数随机梯度下降求解感知机代码python实现TO BE CONTINUE感知机模型感知机模型是一个二分类模型，想象一下在一个多维空间中，有两类数据，正类和负类，现在需要找一个超平面将其分开（假设是线性可分的），这就是感知机模型。赶脚是不是和SVM很像，那就对了，不过感知机模型没有SVM那么严格，SVM是要求最大间隔，而感知机不需要。感知机模型是SVM和神经网

2017-08-06 17:27:47 938

原创机器学习之模型预估与选择

损失函数与风险函数在监督学习中，对于训练样本(X,Y),其中X表示记录，Y表示对应的实际结果。假设我们学习到的模型为：f(x). 损失函数定义为L(f(x),Y).表示的是模型结果也实际结果之间的误差计算方式。常见的损失函数有： 1. 0-1损失函数 L(f(x),Y)={1,0,Y≠ f(x)Y=f(x)L(f(x),Y) =\begin{cases}1, & \text{Y$\not

2017-08-02 20:09:02 2137