极大似然估计

  在学统计学习方法的时候，里面经常提到最大似然函数，但是我一直不知道他代表什么意思，或者说每次要求参数的时候，都是先根据已有的分布连乘，然后求参数就行了。这种做法让我很困扰，今天就百度了一下， 看到了各路大神的解释，心中有些谱了，就在这里简单记录一下，尽量不涉及公式。
  极大似然估计就是利用已有样本的信息，反推最有可能导致这种情况出现的模型参数。即你手头有一堆样本，这些样本的值都已经出现，也就是找一组参数使得这些样本出现的概率值最大。因为根据你现有的样本来看，这些样本出现（发生的概率最大）才最符合逻辑。然后就是求这些样本的联合概率，也就是连乘。连乘取对数，因为取对数把乘法转换为了加法，并不会改变增减性，而且极值出现的位置也不会变，所以何乐而不为。然后再求导，一阶导数为0的点就是极值出现的地方。

  聊到极大释然函数了，顺便说说最小二乘法吧。最小二乘就是逐渐减小估计值与实际值之间的差异，计算距离有多种方法，但是最小二乘就是实际值与估计值做差然后平方相加，选用最小二乘的原因估计是求导比较方便。得到误差的算式之后，对其进行求导然后得到一阶导数为0的点更新参数即可。
  总结，极大似然就是KL散度，最小二乘就是L2正则。