通俗地理解最大似然估计以及统计机器学习

概述最大似然估计
在样本结果已知的情况下，可以根据最大似然估计方法推测模型和参数。最大似然估计方法比其他估计方法更加简单；有收敛性，样本数增多时，收敛性会更好；模型选取正确的情况下，我们会得到较准确的估计值。
  使用极大似然估计的重要前提是，训练样本的分布能代表样本的真实分布，每个样本集中的样本都是独立同分布的，并且有充分的训练样本。
  求最大似然估计的一般步骤：
  （1）写出似然函数；
  （2）对似然函数取对数；
  （3）求导数；
  （4）解似然方程。
  （具体实例怎么做？如何用PYTHON实现？）
详述最大似然估计
频率学派认为，当实验重复次数趋近于无穷大时，那么事件发生的频率会趋近于该类事件发生的真实概率上，也就是说，该类事件发生的概率是一个确定的值，并不会受单次实验的影响。
比如，将一枚均匀的硬币抛掷 10 次，结果可能是 10 次都是正面，也可能 10 次都是反面，写成频率的话就对应着 0% 和 100% 这两个极端，代表着最大范围的波动。可如果将抛掷次数增加到 100 次，出现正面的次数依然会发生变化，但波动的范围更可能会收缩到 40% 到 60% 之间。再将抛掷次数增加到 1000，10000 的话，频率波动的现象不会消失，但波动的范围会进一步收缩到越来越小的区间之内。
由此而言，频率学派的观点就是，某类事件的通用函数其参数是固定不变的常量，而用来估计参数的数据是随机的变量，每个数据都是相同参数下的一次独立重复实验的结果。由于参数本身是确定的，那频率的波动就并非来源于参数本身的不确定性，而是由有限次观察造成的干扰而导致。通过某类事件的多次重复实验产生的数据，来估计该事件的参数是可能的，但也受限于重复实验产生数据的不完全性，会导致由样本数据来估计整体数据的参数必然会存在误差。
从数学角度来说，问题演变成“最大似然估计(Maximum Likelihood Estimation，MLE)”，也就是利用已知样本结果（统计概率）来反推最有可能导致该结果的参数值，也就是求一组固定参数下，使得实验结果出现概率最大。前提假设是，所有采样都是独立同分布。在已知样本数据的前提下，通过求似然函数最大值的参数，也就是参数是变量，求似然函数的极值，对似然函数取对数，令其导数为0，求解参数值。
似然函数，可以通俗的理解为，在参数a下，得到数据b的条件概率。概率与似然是两种近似相反的概念，概率指的是在参数固定的前提下，某一事件发生的可能性；而似然指的是已观察到的某事件，其参数是什么的可能性。
损失函数（loss function）直接定义了模型性能的度量方式，其数学期望被称为风险（risk），风险最小化就是参数估计的依据和准则。但风险的计算并不能一蹴而就：估计最优参数需要计算风险，计算风险时需要在数据的概率分布上对损失函数进行积分，可表示数据的分布又需要依赖未知参数的精确取值。这就给频率主义出了一个无解的问题：风险函数是没有办法精确求解的。
为了解决这个问题，统计机器学习引入了经验风险（empirical risk），用训练数据的经验分布替换掉原始表达式中数据的真实分布，借此将风险函数转化成了可计算的数值。在真实的学习算法中，无论是分类问题中的误分类率，还是回归问题的中的均方误差，都是经验风险的实例，而所谓的最优模型也就是使经验风险最小化（empirical risk minimization）的那个模型。
统计机器学习案例及PYTHON实现
可参考：https://blog.csdn.net/magicyangjay111/article/details/133763582?ops_request_misc=&request_id=&biz_id=102&utm_term=%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1%E5%9C%A8%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-7-133763582.142^v100pc_search_result_base5&spm=1018.2226.3001.4187