Batch Gradient Descent and Stochastic Gradient Descent

机器学习

公开课 Ng

http://v.163.com/movie/2008/1/M/C/M6SGF6VB4_M6SGHFBMC.html

https://class.coursera.org/ml-007

参考书是：

Stanford cs229的参考讲义

统计学习方法-李航

Machine Learning-Tom Mitchell

涉及到的语言有c/c++、octave、matlab等

1-

机器学习：

A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，我们称这个计算机程序在从经验E学习

监督学习（supervised learning）和非监督学习（unsupervised learning）

两者的区别在于：

监督学习是对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。
非监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习

分类（classification）和回归（regression）

两者的区别在于：

分类的样本是离散的，而回归是连续的。

线性回归

梯度下降

组梯度下降

随机梯度下降

标准方程推导