李宏毅老师机器学习(一) 机器学习介绍与回归

前言

这段时间尝试着把李宏毅老师的机器学习过一遍顺便记点笔记。尽量能够让人看懂。

机器学习介绍

主要带来的是几个问题：

Question：人工智能，机器学习，深度学习，特征工程的关系？

Answer：人工智能包括机器学习，机器学习包括深度学习。特征工程从数据中提取特征供算法和模型使用。

Question：机器学习的类别？

Answer：

regression回归

linear model 线性模型

deep learning 深度学习

SVM 支持向量机

decision tree 决策树

k-nn k临近算法

semi-supervised learning半监督学习 有标签和无标签混合

transfer learning 迁移学习

unsupervised learning 无监督学习 无标签数据

reinforcement learning 强化学习

structured learning 结构化学习

Question：回归的主要应用？

Answer：

股票预测

自动驾驶

推荐系统

Question：什么是损失函数？

Answer：

输入为函数，输出为对该函数好坏的评价的函数

为找到较好的损失函数，在线性回归的情况下，可以使用梯度下降法。梯度下降的幅度取决于该损失函数的微分以及预设的参数：学习率η。

对于损失函数L(w)有，w的更新公式为：

在线性回归上没有极小值只有最小值，所以不用担心所取得的极小值不是最小值

当参数为两个w,b时：

Question：为什么需要平滑的曲线？

Answer：平滑的曲线不易受到噪声影响，但是太过平滑，线就变成了直线

做回归的时候是不需要误差的

Question：误差的来源？

Answer：来源于偏差或者方差。偏差取决于样本的多少，代表瞄准位置在哪里。方差表示点的聚集度

简单的模型不易受数据的影响，方差较小，但是偏差大。模型越复杂方差越大，偏差越小。当你的方差大的时候就是过拟合，当你的偏差很大时候就是欠拟合。

Question：怎么知道偏差大还是方差大？

如果你的模型没有办法拟合你的训练数据，那么你的偏差大，这时候是欠拟合。这时候重新设计你的模型。

你在训练数据上得到小的偏差，但是在测试数据上得到较大的偏差，那么可能是方差较大，这时候是过拟合。办法是增加你的数据，不会伤害你的偏差。实在没办法可以自己设计数据，图片左右颠倒，裁剪等扩大训练集之类方式。另一种方法是正则化，可能伤害偏差，这时候就要在方差和偏差间取得平衡