zhudj08的博客

机器学习实战之路 —— 专栏汇总目录1. 专栏目录导航2. 编程语言及相关库3. 参考学习的视频及书籍4. 参考学习的硕博论文前面也已经谈到博主所在的汽车行业中所处的软件定义汽车与“新四化”浪潮，汽车电子也是其中的重要发展领域，汽车电子中也涉及系统集成方面的知识，作为这方面的知识的扩展学习，所以博主21年上半年正在积极备考软考中级——系统集成项目管理工程师，另外近期也是工作项目中较为繁忙。所以本专栏就暂且更新到此，后续若有机会或许再予以更新。本专栏也已初步分享学习及论述了机器学习的一些基本经典算法，如线性

机器学习实战之路 —— 6 聚类算法1. 聚类相关基本概述1.1 学习模式1.1.1 监督学习1.1.2 无监督学习1.2 聚类分析1.2.1 基本概念1.2.2 基本步骤1.2.3 相似性度量1.2.3.1 距离度量1.2.3.1 相似系数度量1.2.4 有效性评价准则指标1.2.4.1 外部评价1.2.4.1 内部评价1.2.4.1 相对评价2.1 聚类主要算法2.1.1 划分聚类2.1.1 层次聚类2.1.1 密度聚类3 实战3.1 划分聚类 — K-Means3.2 层次聚类 — AGNES3.3

机器学习实战之路 —— 5 SVM支持向量机1. 支持向量机概述1.1 线性分类1.2 非线性分类2. 支持向量机分类中的问题2.1 核函数的选择2.2 多类分类2.3 不平衡数据的处理2.4 主要算法实现步骤3. 实战3.1 多类分类3.2 不平衡数据的处理3.3 手写数字识别3.3.1 数据集描述3.3.2 识别分类实现3.3.3 不同核函数下的识别率1. 支持向量机概述统计学习是当欠缺合适的理论模型时，对大量的观测数据采用的分析推理方法。在传统的统计模式下，分类问题的研究往往都是在数据集的数据量非

机器学习实战之路 —— 4 Boosting算法及其应用1. Boosting算法概述2. 主要算法实现2.1 AdaBoost2.2 GBDT2.3 XGBoost3. 实战 - 鸢尾花数据集分类3.1 AdaBoost3.2 GBDT & XGBoost4.参考学习的书目及论文1. Boosting算法概述一般集成学习的结构可如下图所示：通过样本训练集产生一组个体学习器，每个个体学习器完成训练后对于每个测试样本都会产生各自的预测结果。经由一种组合策略，从个体学习器的预测结果中选择一个结果或者

机器学习实战之路 —— 3 决策树与随机森林二1. 随机森林概述2. 随机森林的构建过程2.1 Bagging与随机森林2.2 OOB数据2.3 随机森林RandomForestClassifier3. 实战 - 鸢尾花数据集随机森林分类4.参考学习的书目及论文1. 随机森林概述在上一篇博客中已经对决策树算法及实践做了论述，其中就有谈到关于决策树的过拟合问题，随着决策树模型越复杂，则模型适应性越差，越容易发生过拟合的问题。并讲述一般通过剪枝算法来防止决策树过拟合，提高算法泛化性能的方法。但就此我们可以

机器学习实战之路 —— 3 决策树与随机森林一1. 决策树与随机森林概述2. 决策树常用算法实现2.1 信息增益 — ID32.2 信息增益比（增益率） — C4.52.3 基尼指数 — CART2.3.1 回归树的构建2.3.2 回归树的后剪枝3.实战3.1 决策树可视化Graphviz3.2 鸢尾花数据集决策树分类3.3 汽车评测数据的分类应用1. 决策树与随机森林概述决策树是机器学习、数据挖掘和模式识别研究中重要的方法和技术。所谓决策树是一种树形结构, 可用于分类或者回归问题研究的分而治之算法。一

机器学习实战之路 —— 2 Logistic回归1.Logistic回归1.1 从线性回归到Logistic回归1.2 最大似然估计1.3 一般总结2.训练常用算法2.1梯度上升2.2随机梯度上升2.3改进的随机梯度上升3.实战：鸢尾花分类3.1使用sklearn中的LogisticRegression()1.Logistic回归1.1 从线性回归到Logistic回归前面线性回归章节已经对回归基础算法作了介绍，回归算法主要用于对连续性数据的拟合，使得拟合的线尽量靠近所有的数据点，对于模型优化程度的评

机器学习实战之路 —— 1 线性回归二1. 欠拟合和过拟合问题2. 模型优化2.1 局部加权线性回归(LWLR)2.2 岭回归2.3 Lasso回归2.4 前向逐步回归2.5 时间序列分析ARIMA3. 实战：广告花费与销售额3.1 线性回归3.2 岭回归（Ridge）3.3 Lasso4. 参考学习的书目及论文1. 欠拟合和过拟合问题线性回归的一个问题是有可能出现欠拟合现象，因为它求的是最小均方误差的无偏估计。显而易见，如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而

机器学习实战之路 —— 1 线性回归一1. 线性回归2. 标准线性回归2.1 方程组求解2.2 矩阵求解3. 实战4. 参考学习的书目及论文近期自己准备将之前在机器学习方面做的一些学习及研究工作，重新稍加整理成稿发出来，权当记录分享。俗话说，好记性不如烂笔头，有时候自己理解是一个层次，而写出来给别人看，往往需要站在受众的角度去思考，进而希望更好的传达自己的观点和想法，所以在文章构思及落笔成文时，已经加深了自己对原本问题和相关知识的理解，这是比仅仅自己理解更深入的一个层次。回顾自己求学及工作中整理撰写各类论