最大似然估计
最大似然估计是机器学习领域最为常见的用来构建目标函数的方法,它的核心思想是根据观测到的结果来预测其中的未知参数。
观测到的是 样本数据。需要估计的是 能够产生这些样本的 模型的参数。
待估计的参数
θ
\theta
θ —> (产生) 观测到的样本。
待估计的参数
θ
\theta
θ <—(估计) 观测到的样本。
假设未知参数为 θ \theta θ,已知的样本为D,最大似然估计通过最大化 P(D| θ \theta θ) 来求解位置参数 θ \theta θ.
投掷硬币的例子
假设有一枚硬币,它是不均匀的,扔硬币出现证明的概率是和出现反面的概率是不一样的。假设我们设定出现正面的概率是 θ \theta θ,我们用H 来指正面(head), 用T 来标记反面(tail),假设扔了6次,结果分别为 D= {H,T,T,H,H,H}, 求 θ \theta θ?
通过扔硬币的结果D 来预测 θ \theta θ就是我们要解决的问题。这就是最大似然概率。
解答: 6次扔硬币中出现了4次正面,2次反面。 所以一目了然
θ
\theta
θ = 4/6 = 2/3. (其实这个就是用的最大似然估计)
我们看最大似然估计的方法来求解:
第一步: 构造P(D|
θ
\theta
θ) = P({H,T,T,H,H,H,H}|
θ
\theta
θ) = (时间独立性) P(H|
θ
\theta
θ)^4 * P(T|
θ
\theta
θ)^2 =
θ
\theta
θ^4 * (1-
θ
\theta
θ)^2 <— f(
θ
\theta
θ)
第二步:求解f(
θ
\theta
θ)的最大值。
f(
θ
\theta
θ) =
θ
\theta
θ^4 * (1-
θ
\theta
θ)^2
f’(
θ
\theta
θ) = 4
θ
\theta
θ^3 * (1-
θ
\theta
θ)^2 - 2(1-
θ
\theta
θ) *
θ
\theta
θ^4
设f’(
θ
\theta
θ) = 0 ,
θ
\theta
θ = 2/3