赵广陆

目录1 前向算法求HMM观测序列的概率1.1 流程梳理1.2 算法总结1.3 HMM前向算法求解实例1.4 用后向算法求HMM观测序列的概率1.4.1 流程梳理1.4.2 后向算法流程1.5 小结2 维特比算法解码隐藏状态序列2.1 HMM最可能隐藏状态序列求解概述2.2 维特比算法概述2.3 维特比算法流程总结2.4 HMM维特比算法求解实例2.5 小结3 鲍姆-韦尔奇算法简介3.1 鲍姆-韦尔奇算法简介3.2 鲍姆-韦尔奇算法原理4 HMM模型API介绍

目录1 马尔科夫链1.1 简介1.2 经典举例1.3 小结2 HMM简介2.1 简单案例2.2 案例进阶2.2.1 问题阐述2.2.2 问题解决3 HMM模型基础3.1 什么样的问题需要HMM模型3.2 HMM模型的定义3.3 一个HMM模型实例3.4 HMM观测序列的生成3.5 HMM模型的三个基本问题4 前向后向算法评估观察序列概率4.1 回顾HMM问题一：求观测序列的概率

目录1 lightGBM1.1 lightGBM演进过程1.2 AdaBoost算法1.3 GBDT算法以及优缺点1.4 启发2 什么是lightGBM3 lightGBM原理3.1 基于Histogram(直方图)的决策树算法3.2 Lightgbm 的Histogram(直方图)做差加速3.3 带深度限制的Leaf-wise的叶子生长策略3.4 直接支持类别特征3.5 直接支持高效并行4 lightGBM算法api介绍4.1 lightGBM的安装

目录1 xgboost算法api介绍1.1 xgboost的安装2 xgboost参数介绍2.1 通用参数（general parameters）2.2 Booster 参数（booster parameters）2.2.1 Parameters for Tree Booster2.2.2 Parameters for Linear Booster2.3 学习目标参数（task parameters）3 xgboost案例介绍3.1 案例背景3.2 步骤分析3.3 代码实现

目录1 最优模型的构建方法2 XGBoost的目标函数推导2.1 目标函数确定2.2 CART树的介绍2.3 树的复杂度定义2.3.1 定义每课树的复杂度2.3.2 树的复杂度举例2.4 目标函数推导3 XGBoost的回归树构建方法3.1 计算分裂节点3.2 停止分裂条件判断4 XGBoost与GDBT的区别5 小结

目录1 初识EM算法2 EM算法介绍2.1 极大似然估计2.1.1 问题描述2.1.2 用数学知识解决现实问题2.1.3 最大似然函数估计值的求解步骤2.2 EM算法实例描述2.3 EM算法流程3 EM算法实例3.1 一个超级简单的案例3.2 加入隐变量z后的求解3.2.1 EM初级版3.2.2 EM进阶版

目录1 SVM算法api1.1 SVM算法api综述1.2 SVC1.3 NuSVC1.4 LinearSVC1.5 小结2 案例：数字识别器2.1 案例背景介绍2.2 数据介绍2.3 案例实现4 SVM总结4.1 SVM基本综述4.2 SVM优缺点1 SVM算法api1.1 SVM算法api综述SVM方法既可以用于分类（二/多分类），也可用于回归和异常值检测。

目录1 SVM的损失函数2 SVM的核方法2.1 什么是核函数2.1.1 核函数概念2.1.2 核函数举例2.1.2.1 核方法举例12.1.2.2 核方法举例22.2 常见核函数2.3 小结3 SVM回归1 SVM的损失函数在SVM中，我们主要讨论三种损失函数：

目录1 定义输入数据2 线性可分支持向量机3 SVM的计算过程与算法步骤3.1 推导目标函数3.2 目标函数的求解3.2.1 朗格朗日乘子法3.2.2 对偶问题3.2.3 整体流程确定4 举例5 小结

目录1 SVM算法简介1.1 SVM算法导入1.2 SVM算法定义1.2.1 定义1.2.2 超平面最大间隔介绍1.2.3 硬间隔和软间隔1.2.3.1 硬间隔分类1.2.3.2 软间隔分类1.3 小结2 SVM算法api初步使用1 SVM算法简介1.1 SVM算法导入在很久以前的情人节，大侠要去救他的爱人，但魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜色的球，说：“你用一根棍分开它们？要求：尽量在放更多球之后，仍然适用。”

目录1 朴素贝叶斯算法简介2 概率基础复习2.1 概率定义2.2 案例：判断女神对你的喜欢情况2.3 联合概率、条件概率与相互独立2.4 贝叶斯公式2.4.1 公式介绍2.4.2 案例计算2.4.3 文章分类计算2.5 小结3 案例：商品评论情感分析2.1 api介绍3.2 商品评论情感分析3.2.1 步骤分析3.2.2 代码实现3.3 总结4 朴素贝叶斯算法总结4.1 朴素贝叶斯优缺点4.2 朴素贝叶斯内容汇总4.2.1 NB的原理4.2.2 朴素贝叶斯朴素在哪里

目录1 Canopy算法配合初始聚类1.1 实现流程1.2 Canopy算法优缺点2 K-means++3 二分k-means4 k-medoids（k-中心聚类算法）5 Kernel k-means6 ISODATA7 Mini Batch K-Means8 小结1 Canopy算法配合初始聚类

目录1 误差平方和2 “肘”方法3 轮廓系数法4 CH系数5 小结1 误差平方和误差平方和(SSE \The sum of squares due to error)具体概念通过如下举例介绍

目录1 认识聚类算法1.1 聚类算法在现实中的应用1.2 聚类算法的概念1.3 聚类与分类最大的区别1.4 小结2 聚类算法api初步使用2.1 api介绍2.2 案例2.2.1流程分析2.2.2 代码实现2.3 小结3 聚类算法实现流程3.1 k-means聚类步骤3.2 案例练习3.3 小结

目录1 原理概述2 算法描述3 简单实例3.1 实例计算过程3.2 回归决策树和线性回归对比4 小结1 原理概述前面已经讲到，关于数据类型，我们主要可以把其分为两类，连续型数据和离散型数据。在面对不同数据时，决策树也可以分为两大类型：分类决策树和回归决策树。前者主要用于处理离散型数据，后者主要用于处理连续型数据。不管是回归决策树还是分类决策树，都会存在两个核心问题：如何选择划分点？如何决定叶节点的输出值？

目录1 决策树算法api2 泰坦尼克号乘客案例背景2.1 步骤分析2.2 代码实现2.3 决策树可视化2.3.1 保存树的结构到dot文件2.3.2 网站显示结构3 决策树总结4 小结泰坦尼克号沉没是历史上最臭名昭着的沉船之一。1912年4月15日，在她的处女航中，泰坦尼克号在与冰山相撞后沉没，在2224名乘客和机组人员中造成1502人死亡。这场耸人听闻的悲剧震惊了国际社会，并为船舶制定了更好的安全规定。 造成海难失事的原因之一是乘客和机组人员没有足够的救生艇。

目录1 为什么要剪枝2 常用的减枝方法2.1 预剪枝2.2 后剪枝3 小结1 为什么要剪枝在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本学得"太好"了，以致于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。因此，可通过主动去掉一些分支来降低过拟合的风险。

目录1 决策树算法简介2 决策树分类原理2.1 熵2.1.1 概念2.1.2 案例2.2 划分依据一 ：信息增益2.2.1 概念2.2.2 案例2.3 划分依据二 ：信息增益率2.3.1 概念2.3.2 案例2.3.2.1 案例一2.3.2.2 案例二2.3.3 为什么使用C4.5要好2.4 划分依据三 ： 基尼值和基尼指数2.4.1 概念2.4.2 案例2.5 小结2.5.1 常见决策树的启发函数比较2.5.1.1 ID3 算法2.5.1.2 C4.5算法

目录1 分类评估方法1.1 精确率与召回率1.1.1 混淆矩阵1.1.2 精确率与召回率1.2 F1-score1.3 分类评估报告api2 ROC曲线与AUC指标2.1 TPR与FPR2.2 ROC曲线2.3 AUC指标2.4 AUC计算API2.5 小结3 ROC曲线的绘制3.1 曲线绘制3.1.1 序列一曲线绘制3.1.2 序列二曲线绘制3.1.3 序列三曲线绘制3.2 意义解释3.3 小结

目录1 逻辑回归api介绍2 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测2.1 背景介绍2.2 案例分析2.3 代码实现2.4 小结

目录1 逻辑回归的应用场景2 逻辑回归的原理2.1 输入2.2 激活函数3 损失以及优化3.1 损失3.2 优化4 小结1 逻辑回归的应用场景逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

目录1 正则化线性模型1.1 岭回归1.2 Lasso 回归1.3 弹性网络1.4 Early Stopping1.5 小结2 线性回归的改进-岭回归2.1 API2.2 正则化程度变化2.3 波士顿房价预测2.4 小结3 模型的保存和加载3.1 sklearn模型的保存和加载API3.2 线性回归的模型保存加载案例3.3 tips3.4 小结

目录1 定义2 原因以及解决办法3 正则化3.1 什么是正则化3.2 正则化类别4 小结1 定义过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

目录1 线性回归api介绍小结2 波士顿房价预测2.1 案例背景介绍2.2 案例分析2.3 回归性能评估2.4 代码实现2.4.1 正规方程2.4.2 梯度下降法2.5 小结

目录1 详解梯度下降算法1.1梯度下降的相关概念复习1.2 梯度下降法的推导流程2 梯度下降法大家族2.1 全梯度下降算法(FG)2.2 随机梯度下降算法(SG)2.3 小批量梯度下降算法2.4 随机平均梯度下降算法(SAG)3 小结1 详解梯度下降算法1.1梯度下降的相关概念复习在详细了解梯度下降的算法之前，我们先复习相关的一些概念。

目录1 损失函数2 优化算法2.1 正规方程2.1.1 什么是正规方程2.1.2 正规方程求解举例2.1.3 正规方程的推导2.2 梯度下降2.2.1 什么是梯度下降2.2.2 梯度的概念2.2.3 梯度下降举例2.2.4 梯度下降公式3 梯度下降和正规方程的对比3.1 两种方法对比3.2 算法选择依据4 小结

目录1 线性回归API2 举例2.1 步骤分析2.2 代码过程3 小结1 线性回归API机器学习线性回归简介：https://blog.csdn.net/ZGL_cyy/article/details/126918295sklearn.linear_model.LinearRegression()LinearRegression.coef_：回归系数

目录1 什么是交叉验证(cross validation)1.1 分析1.2 为什么需要交叉验证2 什么是网格搜索(Grid Search)3 交叉验证-网格搜索API：4 鸢尾花案例增加K值调优5 Facebook签到的位置预测5.1 数据集介绍5.2 步骤分析5.3 代码实现交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证。

目录1 再识K-近邻算法API2 案例：鸢尾花种类预测2.1 数据集介绍2.2 步骤分析2.3 代码过程3 案例小结4 KNN算法总结4.1 k近邻算法优缺点汇总

目录1 sklearn数据集的使用2 sklearn数据集返回值介绍3 查看数据分布4 数据集的划分5 总结1 sklearn数据集的使用鸢尾属（拉丁学名：Iris L.）是单子叶植物纲，鸢尾科多年生草本植物，有块茎或匍匐状根茎；叶剑形，嵌叠状；花美丽，花序生于分枝的顶端或仅在花茎顶端生1朵花；花较大；花被花瓣状，有一长或短的管，外弯，花柱分枝扩大，花瓣状而有颜色，外展而覆盖着雄蕊；子房下位，胚珠多数，果为蒴果。

目录1 线性回归应用场景2 什么是线性回归2.1 定义与公式2.2 线性回归模型介绍3 小结1 线性回归应用场景房价预测销售额度预测贷款额度预测

目录1 kd树简介1.1 什么是kd树1.2 原理2 构造方法3 案例分析3.1 树的建立3.2 最近领域的搜索3.2.1 查找点(2.1,3.1)3.2.2 查找点(2,4.5)4 总结1 kd树简介1.1 什么是kd树问题导入：实现k近邻算法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。

目录1 K值选择说明2 小结K值选择问题，李航博士的一书「统计学习方法」上所说：- 1) 选择较小的K值，就相当于用较小的领域中的训练实例进行预测， - “学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大， - 换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合；

目录1 距离公式的基本性质2 常见的距离公式2.1 欧式距离2.2 曼哈顿距离2.3 切比雪夫距离2.4 闵可夫斯基距离3 连续属性和离散属性的距离计算4 小结5 其他距离公式5.1 标准化欧氏距离5.2 余弦距离5.3 汉明距离5.4 杰卡德距离5.5 马氏距离1 距离公式的基本性质在机器学习过程中，对于函数 dist()，若它是一"距离度量" (distance measure)，则需满足一些基本性质

目录1 k近邻算法api初步使用2 Scikit-learn工具介绍2.1 安装2.2 Scikit-learn包含的内容3 K-近邻算法API4 案例4.1 步骤分析4.2 代码过程5 小结1 k近邻算法api初步使用K近邻算法介绍：https://blog.csdn.net/ZGL_cyy/article/details/125583129机器学习流程复习：

目录1 什么是K-近邻算法2 K-近邻算法(KNN)概念3 电影类型分析4 KNN算法流程总结- 根据你的“邻居”来推断出你的类别# 2 K-近邻算法(KNN)概念K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法

目录1 特征降维2 降维3 降维的两种方式4 什么是特征选择4.1 定义4.2 方法4.3 模块4.4 过滤式4.4.1 低方差特征过滤4.4.2 相关系数5 主成分分析5.1 什么是主成分分析(PCA)5.1.1 计算案例理解5.1.2 API5.1.3 数据计算5.2 案例：探究用户对物品类别的喜好细分降维5.2.1 需求5.2.2 分析5.2.3 完整代码...

目录1 特征预处理2 什么是特征预处理2.1 包含内容2.2 特征预处理API2.2.1 为什么我们要进行归一化/标准化？2.2.2 约会对象数据3 归一化3.1 定义3.2 公式3.3 API3.4 数据计算3.5 问题：如果数据中异常点较多，会有什么影响？3.6 归一化总结4 标准化4.1 定义4.2 公式4.3 API4.4 数据计算4.5 标准化总结.........

目录1 什么是One-Hot编码 ？2 One-Hot编码示例3 sklearn中的OneHotEncoder4 One-hot编码在机器学习领域的应用1 什么是One-Hot编码 ？在计算机科学中，数据可以用很多不同的方式表示，自然而然地，每一种方式在某些领域都有其优点和缺点。由于计算机无法处理分类数据，因为这些类别对它们没有意义，如果我们希望计算机能够处理这些信息，就必须准备好这些信息。...

目录1 特征工程介绍1.1 为什么需要特征工程(Feature Engineering)1.2 什么是特征工程1.3 特征工程的位置与数据处理的比较2 特征提取2.1 特征提取2.1.1 将任意数据（如文本或图像）转换为可用于机器学习的数字特征2.1.2 特征提取API2.2 字典特征提取2.2.1 应用2.2.2 流程分析2.2.3 总结2.3 文本特征提取2.3.1 应用2.3.2 流程分析2.3.3 jieba分词处理2.3.4 案例分析2.3.5 Tf-idf文本