【章华燕的达人课】一、机器学习

##1.AI 和机器学习
我研究的方向是深度学习，说实话我对机器学习的了解，并不多，还没有那么深入，但是直接就跑到了机器学习上，很疑惑，很多知识并不懂。
然后老师讲到了这三者的关系，所以学习深度学习之前应该先学习机器学习，然后才能了解更多的内容。
所谓“基础不牢，地动山摇”，目前我们看到的数据集对应的公开算法都是前辈们调参好的参数，并不能锻炼自己的调参的能力，但是真正解决问题的时候，遇到的都是新问题，所以我们如果对算法了解并不深入，很难解决新问题，所以还是应该先从基础开始。
机器学习算法在于他的原理，在于算法优化和调优，如果不懂背后的原理，等于0
##2.基本问题

特点：
算法以数据和特征为基础，是数据驱动的科学；
目标是对数据进行预测与分析；
机器学习已模型方法为中心，并利用统计学习的方法构建模型；
机器学习是以概率论，统计学，信息论，计算理论，最优化交叉学科，因此要想在机器学习上有所成绩，必须数学过硬

##3.学习的对象
特征工程
特征是最后需要输入到模型中进行训练的多维数据向量，技巧和方法很多，详看下一节中。
##4.要素
章老师划分为4个要素：模型，策略，算法，特征（李航老师划为3个要素，少了一个‘特征’）
机器学习界流行的一句话：数据和特征决定了机器学习算法的上界，而模型和算法只是逼近这个上界而已。也充分说明，你的算法效果如何，取决于特征。
换句话说，数据和特征确定好了之后，算法能做到什么样子也就确定了。此时好与坏的算法差别可能在于谁更接近基于这个数据和特征的效果上限
##5.建模过程
###经验风险
求解模型函数的过程使用的是经验风险最小化，实际上再真正的常见算法的实现过程中使用的是另外一种原则，结构风险最小化。
求解出来的损失函数的对应的θ对应的就是经验风险最小化。该策略认为经验风险最小的模型就是最优的模型。极大似然估计就是一个典型的例子。
当模型是条件概率分布，损失函数是对数损失函数的时候，经验风险最小化与极大似然估计等价。
在样本数量足够大的情况下，经验风险最小化求解出来的模型能够取得不错的预测效果
###结构风险
与经验风险对应的就是结构风险最小化，是为了防止过拟合而提出的策略，等价于正则化
结构风险最小化 = 经验风险最小化 + 正则项
KaTeX parse error: Expected 'EOF', got '\lambdaJ' at position 47: …L(y_i,f(x_i) + \̲l̲a̲m̲b̲d̲a̲J̲(f)
其中$J(f)$是模型的复杂度，正则项就是惩罚复杂的模型，值随着模型的复杂度的增大而增大，这样才能起到抑制的作用。
结构风险小的模型，往往对训练数据以及未知的测试数据都有较好的效果。