机器学习第一回——初识监督学习和无监督学习

一.监督学习（supervised learning）

给定一个含有“正确答案”的数据集，根据样本数据做出预测。

1.回归问题（推测出一个连续值的结果）

例：预测房价

2.分类问题（推测出离散的输出值）

例：估算肿瘤是恶性还是良性

二.无监督学习（ Unsupervised Learning）

给定一个无标签的数据集，从数据中找到某种结构。
例：基因学应用，社交网络分析，市场分割。

三.回归问题

单变量线性回归

1.模型表示

𝑚 代表训练集中实例的数量
𝑥 代表特征/输入变量
𝑦 代表目标变量/输出变量
(𝑥, 𝑦) 代表训练集中的实例
(𝑥(𝑖), 𝑦(𝑖)) 代表第𝑖 个观察实例
ℎ 代表学习算法的解决方案或函数也称为假设（hypothesis）
一种可能的表达方式为：ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥，因为只含有一个特征/输入变量，因此这样
的问题叫作单变量线性回归问题。

2.代价函数

目的：为模型寻找合适的参数θ1和θ0，选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价
函数 𝐽(𝜃0, 𝜃1) = 12𝑚 ∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖)) 𝑚 2 𝑖=1 最小。
建模误差：预测值与实际值的差距。

⑴ θ0=0

⑵ θ0≠0

3.梯度下降

梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数 𝐽(𝜃0, 𝜃1) 的最小值。
批量梯度下降（batch gradient descent）算法的公式为：
其中𝑎是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。α太小导致接近最低点的速度很慢，α太大有可能会错过最低点。
注意：θ1和θ0要同步更新，即：

线性回归算法（用梯度下降算法最小化线性回归代价函数）

这里的代价函数是一个凹函数，只有一个全局最优解，没有局部最优解。