《李宏毅机器学习》task1

1.什么是机器学习

Langley（1996) 定义的机器学习是“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。

2.中心极限定理、正态分布、最大似然估计

最大似然估计

给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大：

其中就是似然函数，表示在参数下出现观测数据的概率。

• 最大似然估计的一般求解步骤
  

最大似然估计的一般求解过程：

（1） 写出似然函数；

（2） 对似然函数取对数，并整理；

（3） 求导数 ；

（4） 解似然方程

3.线性回归loss function推导

4.损失函数和凸函数之间的关系

如果损失函数是凸函数，那么一定有全局最优解，且不论初始值如何选取。

5.全局最优与局部最优

损失函数存在局部最小值，初始点选取不当，则很有可能会造成局部最优解。

6.学习导数，泰勒展开

泰勒展开式

7.推导梯度下降公式

8.写出梯度下降的代码

9.学习L0 L1 L2

10.推导正则化公式

11.说明为什么用L1代替L0

12.为什么只对w0做限制，不对b做限制