【第1.2周:线性回归】

机器学习相关概念

关系框架

人工智能>机器学习>表示学习>深度学习

表示学习：可以自动地学习出样本的有效特征, 从而提升模型性能的方法。
深度学习：本质上是表示学习，都是自动学习出样本的有效特征。但深度学习把输入数据的特征经过多次非线性转化，所谓深度就是非线性转化的次数。

机器学习的目的

从数据中产生模型h

机器学习算法分类

1. 监督学习
   每个训练样本都有标签（eg：房价预测模型中的房价就是标签）
   模型输出结果是连续的，该类问题为回归问题
   模型输出结果是离散的，该类问题为分类问题
2. 半监督学习
3. 无监督学习
   训练样本没有标签，其聚类算法旨在从数据中找到某种结构。（eg：相册人脸分类，新闻分类）
4. 强化学习
   在环境交互中运行，输出结果是一个策略。（eg：阿尔法狗）

单变量线性回归

代价函数及其梯度下降：

梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭代次数会非常高；
如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
通常可以考虑尝试些学习率：
𝛼 = 0.01，0.03，0.1，0.3，1，3，10

多变量线性回归

其中，

特征缩放

目的是帮助梯度下降算法更快地收敛。x0≡1

代价函数及其梯度下降

minimize 正规方程与梯度下降法的区别

梯度下降与正规方程的比较：

总结：只要特征变量的数目并不大，标准方程是一个很好的计算参数𝜃的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

ex1编程作业

单变量线性回归主要代码

代价函数

h=X*theta;
J=sum((h-y).^2)/(2*m);

梯度下降

derivative=(X'*(X*theta-y))/(m); 
theta=theta-alpha*derivative;

多变量线性回归主要代码

特征缩放

mu=mean(X(:,1:2));%%1xn平均值nnn
s=std(X(:,1:2));%%1xn标准差
MU=ones(size(X,1))*mu;%%得到mxn的全是平均值的矩阵
S=ones(size(X,1))*S;%%得到mxn的全是标准差的矩阵
X_norm=(X-MU)./S;

代价函数

h=X*theta;
J=sum((h-y).^2)/(2*m);

梯度下降

derivative=(X'*(X*theta-y))/(m); 
theta=theta-alpha*derivative;

正规方程

theta=pinv(X'*X)*X'*y;%%pinv求逆函数