西瓜书+南瓜书---打卡（第二次）

感觉这个过程中有很多定义自己都没听懂，比如说广义瑞利商。就最后一节里面的二分类线性判别分析这个算法感觉很少见？
在这个过程中有讲到优化和信息论的内容，包括KL散度，信息熵，交叉熵都是那里面的内容。
自己掌握的整体概念：
整个机器学习的框架可以分成三个部分：模型，策略，算法。其中模型就是建模，得到一个包含y和x，以及各种参数的公式。比如说y=wx+b.
得到这个模型之后我们的目标就是求出w和b，因此需要建立损失函数。也就是实际y和预测y之间的差的函数。有多种方法可以建立这个损失函数，包括最小二乘法，极大似然法，最小交叉熵法，这三个也就是策略。得到的损失函数里面是包含w和b的。
最后使用优化算法来求w和b的值。常用的优化算法包括：梯度下降法，牛顿法等。在线性回归中，主要是首先证明损失函数是凸函数，然后凸函数的局部解是全局解，求一阶导，令一阶导为0就可以求出w和b了。
接下来通过一个表格来对前面学到的算法进行总结。