机器学习

机器学习

1.监督学习
利用一组已知类别的样本调整算法的参数，使其达到所要求的性能。
2.无监督学习
利用聚类算法，不知样本类别，使其达到所要求的性能。
3.过拟合：训练集好，测试集不好。(后期再详细介绍）
欠拟合：两者都不好。

---

单变量线性回归

1.代价函数（先算损失函数，再用代价函数J优化参数值，损失函数越接近0越好，损失函数即方差【也可以再乘与0.5】）
先从简单的写：y=kx（θ不好用，也不好打所以用k，b代替）
代价函数J(k）是一条抛物线（如图）

然后当y=kx+b时
代价函数J（k，b)是碗状三维图形2.代价函数
1.通过降低J（k）；J(k，b）的值，找到最小的j值，或全局最小。（公式：下面图中有）
2.当k，b的起始值不同时，得到最后的最优值也可能不同。
3.k，b同时变换，如果已经在局部最优则不再变换。
4.随着k值的减小，移动幅度越来越慢，学习率不用改变。
5.学习率α不易过大或过小：过小接近最优处速度较慢，过大可能会移动幅度太大跃过最优值。
6.随着越来越接近局部最优值，移动幅度会逐渐变小，α的值不用改变。

---

矩阵

1.矩阵加法，减法：（个人理解）就是相同位置上的数相加减，行列数要相同。

2.乘法：口头不好描述，上图
前面的行数和后面的列数相同。

3.矩阵不遵守乘法交换率（与单位矩阵相乘除外），遵守乘法结合律。
单位矩阵：行数和列数相同的矩阵，对角线数字为1，其他位置为0.

4.矩阵逆运算：两个矩阵相乘等于单位矩阵。则一个矩阵称为另一个矩阵的逆矩阵。
没有逆矩阵的矩阵可以近似为0。叫做奇异矩阵或退化矩阵。

5.矩阵转置运算：横着的矩阵翻转变成竖着。翻转后：左上对左上，左下对右上。

---

多变量线性回归

1.有多个变量，例如估算房价，面积，房间数，房龄…
公式与单变量线性回归相似，不过变量要分类。

2.可以用矩阵来代替公式，较简单。取个x0=1.

3.代价函数J（θ）的下降。
对θ分别进行下降，公式相同
4.特征缩放：由于当不同变量数值先插过大时会经过很长时间才能算出结果，因此可以让变量除以一个数，让变量在[-1,1]之间（这只是一个近似值），最好是不要超出[-3,3]和[-1\3,1\3].

5.多元梯度下降：
学习率α，不宜过大也不宜过小。过小耽误时间，过大会跳过最优解。