Machine Learning in Action
shimingliabc
这个作者很懒,什么都没留下…
展开
-
k-近邻算法(k-Nearest Neighbor, kNN)
找出测试用例与训练样本之间特征空间距离最近的k个点。根据这k个点的分类,对测试用例进行分类。def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize, 1))-dataSet #tile重复向量来构造矩阵 sqDiffMat =原创 2016-08-07 22:17:00 · 257 阅读 · 5 评论 -
决策树
ID3利用信息论划分数据集 - 数据越无序,熵越大 - 对数据的划分,使得数据趋于有序,熵减小 - 不同的划分方法,划分前后熵差值不同 - 每次找出一个特征,使得对数据的划分前后,熵差值最大原创 2016-08-07 22:23:10 · 236 阅读 · 4 评论 -
k-Means / bisecting k-Means
k-Means k值由用户指定,为簇的个数 随机生成k个质心cc 对每个样点,选出计算距离最近的质心ii, 则样点被分配到第ii个簇 对每个簇,平均簇内的所有样点的坐标,得到质心的坐标cic_i k-Means可能收敛到局部最小值 bisecting k-Means原创 2016-08-19 08:36:55 · 490 阅读 · 0 评论 -
Logistic回归
《机器学习实战》 第5章直接开始梯度下降的代码,没有搞明白。补上《机器学习》这部分的原理 线性模型f(x)=ωTx+b f(x) = \omega^Tx+b 是直线方程。确定ω\omega和bb即可确定模型。线性回归线性回归通过给定数据集,确定线性模型,即确定参数ω\omega和bb最小二乘法基于均方误差最小化来确定线性模型中参数 (ω∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi原创 2016-08-08 16:06:29 · 432 阅读 · 0 评论 -
SVM
支持向量机模型logistic回归中,得到线性划分f(x)=ωTx+bf(x)=\omega^Tx+b, 当f(x)>0f(x)>0时,判为1,f(x)<0f(x)<0时,判为0。 SVM与logistic回归类似,但划分方式为 {ωTx+b≥1,y=1ωTx+b≤−1,y=−1\left\{ {\begin{array}{*{20}{c}} {\omega^Tx+b \ge 1,y=1}\\原创 2016-08-09 21:17:37 · 254 阅读 · 0 评论