最大似然估计与最小二乘的理解

最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：
我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：P(黑=8)=p^8*（1-p）2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~同样，这样一道题：设总体X 的概率密度为 已知 X1,X2…Xn是样本观测值，求θ的极大似然估计这也一样啊，要得到 X1,X2…Xn这样一组样本观测值的概率是P{x1=X1,x2=X2,…xn=Xn}=f(X1,θ)f(X2,θ)…f(Xn,θ) 然后求使得P最大的θ，求极值的过程。

最小二乘：找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。