回顾机器学习、深度学习（一）

写这篇博客回顾一下近半年来对于ML和DL的学习历程，点出一些关键词，理一下思路，并为下一步的学习做个小小的规划。

基本的情况是按照一些课程和书籍来学的，包括Andrew NG的机器学习视频教程、python基础教程（书）、廖雪峰python教程、机器学习实战（书）以及统计机器学习（书），另有dlbook_cn_public.pdf、neural networks and deeplearning.pdf等，另最近正在学习tensorflow。

半年总结

吴恩达视频教程

总结

监督学习与无监督学习，监督学习指原来的数据集中就有对应的结果，即是一些分类好的数据集，然后我们通过ML或者DL找出输入输出之间的关系即可。无监督学习是指一堆杂乱无章的数据，要通过算法总结出一种规律，将这些数据分成几类。
单变量线性回归：以房价预测问题为例，当只有一个影响房价的特征时，我们可以认为是一个单变量线性回归问题。
模型表示y=wx+b，或者y=wx。
假设函数，即我们提出的一种假设的函数映射关系。用h(x)表示
代价函数，即用来表示原数据结果与经学习后的预测结果之间的差距，一般是建模误差的平方和表示。要在学习的过程中，通过不过减小代价函数，找到一个最小值或者极小值，保存此处的参数（w），就得到了映射关系。
求一个函数最小值的算法—梯度下降GD，随机选一组参数，计算代价函数，然后寻找下一个使代价函数下降最多的参数组合，这样不断寻找下去，直到找到一个局部极小值。选择不同的参数初值，可能得到不同的最后结果。
批量梯度下降：参数=参数-学习率*梯度，另外有一点需要注意(假设h中有两个参数)，那就是参数的同时更新，即必须先定义两个临时变量，保存参数1和参数2的新值，然后再将临时变量同时赋给参数1和参数2。
单变量线性回归模型的组成：假设函数，代价函数和参数变化（即梯度下降法）。
多变量线性回归
相对于单变量，其实就是房价预测问题中不止一个特征，那么我们的假设函数就要做相应的改变，原来只有w和b，现在w要变为w(1)..w(k)，同时梯度下降也要相应改变，每一次更新时梯度下降的式子变多了，对每个w(i)都要更新（同时更新）。
逻辑回归
logistic regression，之前的线性回归问题对应的是连续值，但是逻辑回归对应的是离散值。即最重要给出一组数据代表的属性，比如预测是不是癌症，一张照片是不是猫等等。以下讨论针对二元分类。
逻辑回归算法的性质：输出值永远在0和1之间
假说：逻辑回归模型。输出永远在0~1之间。假设函数用一个逻辑函数表示，常用的逻辑函数是sigmoid函数（S函数）
代价函数：逻辑回归的代价函数与线性回归的代价函数不一样，具体参见材料
梯度下降：虽然形式上与线性回归相同，但是因为代价函数不同，所以也不同。
正则化
为什么需要正则化：过拟合现象的出现，即对于训练集预测的太精确，以至于在预测新的数据时出现较大的误差。比如，真正的函数是一个三次函数，但是经过对训练集的学习得到了一个四次函数，这个四次函数模型对测试集的预测肯定会存在较大误差。所以需要对过拟合现象进行处理。对于分类问题也是一样，对于二元分类，要找出一条线划分开数据集。训练集中肯定会有数据间的相互穿插，如果拟合的过于精确，得到的可能是一条弯弯扭扭的线，那么对测试集的预测就不再准确。
正则化的原理：对参数进行惩罚。
形式：对代价函数添加一个正则化项，该项与参数之间的关系是正比（非线性）的，所以我们在最小化代价函数时，同时也对参数进行了最小化。那样我们就实现了对特征（所有特征）的惩罚。正则化线性回归和正则化逻辑回归形式略有不同。另外正则化项也有不同的选择，比如有参数的2范数和1范数等多种形式。
神经网络
以对逻辑运算符的表示作为切入，input包括输入和权重，整个结构又分为输入层、隐藏层和输出层，各层之间是权重和偏置（可划归到权重中）。
基本的算法是前向传播算法，即第i+1层的每一个数据都由第i层的数据以及两层之间的权重得来。
代价函数：与二元分类（逻辑回归）比较，输出变成了k个分类。
反向传播算法：为了计算代价函数对参数（权重）的偏导数，首先计算最后一层的误差，然后一层层反向求出各层的误差，直到倒数第二层。第一层是输入，不存在误差。