数据挖掘-斯坦福大学公开课-笔记

上它的地址：http://v.163.com/special/opencourse/machinelearning.html

第一课：

监督学习：

比如一组癌症数据，拿到数据的时候我就知道它是正常的基因还是癌症基因，然后分类的时候我能正确的，我能将一个数据映射到其中，并且根据其在哪个分类中作出判断此基因是正常的or癌症的---

我目前做的实验大多数是这个，下载的数据都加上了标签！

无监督学习：

视频中的例子cocktail，让我想起了NBA现在的现场声音扑捉也是如此的

无监督学习主要的过程还是聚类。但是我们能够将数据聚成几类，但是却无法知道这一类是什么，那一类又是什么，将两个混合的声音分开是一个很常见的用处。

这个代码对matlab只需要一行代码，如果运用到R上面那么多了许多工作！！R还是未兴起啊

加强学习：

这就像杂戏团训练小熊一样，对的时候叫：good bear，并对其奖励食物；做错的时候说：bad bear，并对其惩罚。那么久而久之熊会尝试着做good bear。

视频中展现的例子：机器狗爬过障碍物(实现的过程肯定失败多次后，慢慢学会躲避障碍物的路线)

 2013-08-18 观后感

--------------------------

第二课：监督学习，梯度下降

梯度下降法（gradient descent） ^[1] ，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。

最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。 g（k）是f(x)在x(k)的梯度。 直观的说，就是在一个有中心的等值线中，从初始值开始，每次沿着垂直等值线方向移动一个小的距离，最终收敛在f(x)的极值处。

形象的说明为：寻找最快的下山路径

由于训练的数据集可能是巨大的，所以可以使用随机梯度下降法

 2013-08-19 观后感

--------------------------