Fantastic

EM算法与极大似然算法相似，是一种解决问题的思想，解决一类问题的框架，和线性回归，逻辑归回，决策树等一些具体算法不同，极大似然算法更加抽象，是很多具体算法的基础。本文主要从一个例子出发，从极大似然到EM算法。本文主要参考人人都能看懂EM算法。......

文章目录前言特征选择过滤法Pearson系数卡方检验互信息和最大信息系数距离相关系数方差选择法包装法嵌入法总结前言最近在看吴恩达的深度学习机器学习课程。地址：deeplearningai。课程在机器学习特征工程的课程中提到特征选择。在机器学习项目生命周期里，特征工程占据很大的比重，特征工程关乎最终模型性能的好坏，正所谓“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。而特征选择是特征工程的一个重要问题，本文结合【机器学习】特征选择(Feature Selection)方法汇总一文，一

文章目录前言baggingBoostingRandom Forest随机森林实现RandomForestClassifier例子RandomForestRegressor总结XGBoost算法参数优化前言最近需要做回归分析，使用到XGBoost和Random Forest。一开始选择Random Forest，原因有二，一是自己对决策树比较熟悉，随机森林集成多个决策树；二是决策树无需对数据进行归一化或者标准化。在此也引出需要探讨一个问题：在推理阶段如果只有一条数据做推理，如何做归一化或者标准化？在实验当

机器学习的交叉验证前言HoldOut交叉验证HoldOut代码K折交叉验证K折交叉验证代码前言在研究生阶段接触机器学习的时候，我导问我一个问题，你实验里面有用到交叉验证吗？当时我就一脸懵逼了，然后当然吞吞吐吐说有。后面赶紧补了一下交叉验证的只是以及在代码上加上。说到这，突然很怀念以前的学生食堂。废话不多说，现在总结下交叉验证的方法。机器学习的模型在训练阶段目的是希望能够学习一些参数，获得从训练集的权重和偏差的最佳值。交叉验证时一种用于估计机器学习模型性能的统计方法，它是一种评估统计分析结果如何推广到独立

高斯混合模型前言高斯混合模型高斯分布混合模型高斯模型单高斯模型高斯混合模型高斯混合模型训练EM算法应用图像背景的高斯混合模型智能监控系统参考前言之前在一次技术讨论当中，针对文本处理的时候被问到高斯混合模型。当时我对“高斯混合模型”都是比较懵圈，因此写下这篇笔记来记录高斯混合模型。高斯混合模型比较经典，有很多相关的资料也做了非常详细的介绍，本博客的参考内容请见参考部分高斯混合模型高斯混合模型通常简称GMM，是一种业界广泛使用的聚类算法，该方法使用了高斯分布作为参数模型，并使用期望最大（Expectat

基础机器学习算法Logistics Regression在介绍逻辑回归之前，先看看极大似然估计，详情可参考这一篇文章：一文搞懂极大似然估计。我对极大似然估计的理解是通过样本去反推拟合函数的参数。换句话来说，极大似然提供了一种给定观察数据来评估模型参数的方法。极大似然中采样需要满意一个重要假设，就是所有的采样都独立同分布的。参数估计有两种方式，一种是最大似然估计（Maximum likelihood estimation，简称MLE）和最大后验概率估计（Maximum a posteriori esti