机器学习阶段总结一

最近一直在看机器学习相关内容，主要是看的斯坦福的Andrew Ng教授的公开课视频，可以点这里

看了前四讲，最大的感觉就是这简直就是概率论+线代，用到的数学知识着实不少，不过也挺有趣的，继续学下去。

初步总结一下，主要是关于监督学习，回归分类方面的。

1，机器学习中主要有两个基本的学习方法：监督学习和非监督学习。简单来说，监督学习是告诉了机器某个训练集并且指明了

这个集中每个训练样本的特征，机器通过每次训练样本的学习生成学习函数并对之后的问题进行预测，例如拿出几个苹果，并告诉机器

这是苹果，有哪些特征，之后拿出某个水果，预测该水果是苹果的概率是多大。而非监督学习则是不指明特征，仅仅给定训练集，由机器

自己学习生成学习函数。例如，仅仅给定某苹果集和某橘子集而不告诉机器具体是苹果还是橘子，机器提取特征得到学习函数，然后给定

某样本，由机器划分是属于苹果还是橘子。这就是非监督学习。具体定义见这里 http://en.wikipedia.org/wiki/Supervised_learning 和

http://en.wikipedia.org/wiki/Unsupervised_learning

2，有了这两者的基本分类后，之后给出了回归模型，回归模型算是用的比较多的，常用的是线性回归。其实相当于初等数学中的回归方程，求解

线性回归常用的有两种方法，梯度下降和最小二乘法。个人觉得最小二乘法的效果不错，算法过程比较简单。

2.1，梯度下降

2.2，最小二乘法

3，对于分类问题，最著名的就是logistics回归模型，事实上利用回归模型来解决分类问题并不是很适合，（分类本质上是离散的，而回归则是连续的）

logistics回归比较特殊，相当于对回归结果再一次映射，因而可以用来解决分类问题。logistics回归主要用到logistics函数，函数如下：

可见。logistics函数将因变量值限定在0～1范围中，可以用来做分类问题。

利用logistics回归求解分类问题，就是说利用该模型来求解二值问题属于0或1的概率问题，实例如下：

假定二值满足伯努利分布，即有：

之后利用似然函数求解最值，可以得到：

事实上可以看出这个和线性回归类似。只不过是经过了一系列的映射。

4，广义线性模型（GLM）

事实上之前的模型都可以归结为广义线性模型。一般的定义指数族表达式

经过一些运算都可以将之前的各种模型转换为指数族模型。例如，将伯努利分布和高斯分布转化为指数族分布

伯努利分布：

高斯分布：

其他的类似。

5，Softmax回归

后面的还有一个GLM的应用实例，即Softmax回归，用于解决对k-分类问题，可以看成是logistics回归的一个一般模型。比较复杂

不想再多说了，可以去看Machine Learning的讲义或视频，讲的都比较详细。

参考资料：

1，http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/default.html?page=1 这位大牛的博客将Machine Learning比较详细。

2，http://cs229.stanford.edu/  Stanford 的Andrew Ng教授的Machine Learning讲义都在这里