机器学习之线性回归

最近狂看机器学习，对数据挖掘算法甚是着迷。

“协同过滤”，“kNN”，“Bayes”，“k-means”，“决策树”这些都相对比较简单。涉及到距离和概率的计算。

推荐两本书

《数学之美》—— 纲领性书，激起对数学的兴趣。

《写给程序员的数据挖掘实践指南》—— 入门书，通俗易懂。

目前在啃《机器学习实战》，此书一大特色是狂用numpy，代码简洁优美，然而对数学公式解读不强。

看到第五章Logistic回归，一脸懵逼。

细细研究了一个礼拜，发现此章集微积分，线性代数，概率论为一体，相比之前章节，难度升了一个档次。

惭愧的是我还未全部解读通透。数学思维，强求不得，不急于一时，日后慢慢融会贯通。

参考了[置顶] 【机器学习笔记1】Logistic回归总结

地址如下：http://blog.csdn.net/dongtingzhizi/article/details/15962797 

本文举的例子是最简单的回归，线性回归，用的方式是梯度下降。尽可能详细讲解！

给出四个点，用直线拟合，结果如下：

原始数据坐标(4个点)：

x = [1, 3    , 5      , 7    ]
y = [5, 10.5, 16.8 , 23.1]

线性回归的思路：我们假设能用一条直线 y=kx+b 来串起所有的数据点。

那如何确定k和b的值？使得总误差最小！

假设k=3, b=2 .将4个x [1, 3, 5, 7 ]代入，计算得出四个y [5, 11, 17, 23]，目测已经很接近了。

那此时的误差怎么算？我们一般用 [5, 11, 17, 23] 和 原始数据 [5, 10.5, 16.8 , 23.1] 的方差之和来表示：

所以我们的目标就是要使得这个SSE最小，（变量就是k和b！）