侠的博客

侠的机器学习笔记使用博客来记录自己的机器学习过程，笔记是通过网络、书籍以及自我总结而成的。本笔记分为三部分：机器学习基础监督学习算法非监督学习算法所有已完成的笔记都会发布到 CSDN Blog 上，感兴趣的小伙伴可以关注一下，我将会坚持更新机器学习以及深度学习的笔记。所有的笔记都是由 Jupyter Notebook 写成的，Notebook 可以在这个 Github 库内找到。...

文章目录1. 正则线性模型1.1 Ridge Regression（L2）1.1.1 Sklearn 实现1.1.2 Ridge + SDG1.1.2.1 Sklearn 实现1.2 Lasso Regression（L1）1.2.1 Sklearn 实现1.2.2 Lasso + SGD1.2.2.1 Sklearn 实现1.3 Elastic Net（L1&L2）1.3.1 Sklea...

文章目录决策树1. 特征选择1.1 熵1.2 条件熵1.3 信息增益1.4 信息增益率2. 决策树生成算法1 信息增益及信息增益率的算法2.1 ID3 算法2.2 C4.5 算法3. 决策树剪枝3.1 预剪枝3.2 后剪枝算法2 树的剪枝算法参考文献相关文章：机器学习 | 目录监督学习 | ID3 决策树原理及Python实现监督学习 | 决策树之Sklearn实现监督学习 | 决策树之...

文章目录1. Logistic 回归1.1 Logistic 函数1.2 Logistic 回归模型1.2.1 模型参数估计2. Sklearn 实现参考资料相关文章：机器学习 | 目录监督学习 | 线性回归 之多元线性回归原理及Sklearn实现监督学习 | 非线性回归 之多项式回归原理及Sklearn实现监督学习 | 线性回归 之正则线性模型原理及Sklearn实现1. Logis...

文章目录Boosting1. AdaBoost1.1 AdaBoost 原理1.2 Python 实现1.3 Sklearn 实现2. 梯度提升2.1 梯度提升回归树（GBRT）2.1.1 Python 实现2.1.2 Sklearn 实现2.1.3 早期停止法2.1.4 随机梯度提升参考资料相关文章：机器学习 | 目录监督学习 | 集成学习之Bagging、随机森林及Sklearn实现B...

文章目录集成学习1. 投票分类器1.1 硬投票法1.2 软投票法2. Bagging & Pasting2.1 包外评估2.2 Random Patches 和 随机子空间3. 随机森林3.1 极端随机树3.2 特征重要性参考资料相关文章：机器学习 | 目录监督学习 | 决策树原理及Python实现监督学习 | 决策树之Sklearn实现监督学习 | 集成学习之AdaBoost原...

文章目录Sklearn 支持向量机1. 支持向量机分类1.1 线性 SVM 分类1.2 非线性 SVM 分类1.2.1 多项式核1.2.2 高斯 RBF 内核2. 支持向量机回归2.1 线性 SVM 回归2.2 非线性 SVM 回归2.2.1 多项式内核参考资料相关文章：机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 | SVM 之线性支持向量机原理监督学习 | SVM 之非线...

文章目录1. 非线性支持向量机1.1 核技巧1.2 核函数1.2.1 核函数选择1.2.2 RBF 函数参考资料相关文章：机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 | SVM 之线性支持向量机原理1. 非线性支持向量机对解线性分类问题，线性分类支持向量机是一种非常有效的方法。但是，有时分类问题是非线性的，这时可以使用非线性支持向量机（non-linear support...

文章目录支持向量机1. 线性可分支持向量机1.1 间隔计算公式推导1.2 硬间隔最大化1.2.1 原始问题1.2.2 对偶算法1.3 支持向量2. 线性支持向量机2.1 软间隔最大化2.1.1 原始问题2.1.2 对偶算法2.2 支持向量2.3 合页损失函数参考资料支持向量机支持向量机（Support Vector Machines, SVM）：是一种二分类模型，它的基本模型是定义在特征空间上...

文章目录1. 线性回归1.1 基本形式1.2 最小二乘法推导2. Sklearn 实现参考资料相关文章：机器学习 | 回归评估指标1. 线性回归线性回归，又称普通最小二乘法（Ordinary Least Squares, OLS），是回归问题最简单也最经典的线性方法。线性回归需按照参数 w 和 b，使得对训练集的预测值与真实的回归目标值 y 之间的均方误差（MSE）最小。均方误差（Mean...

文章目录1. 通过网格搜索完善模型1.1 数据导入1.2 拆分数据为训练集和测试集1.3 拟合决策树模型1.4 使用网络搜索完善模型1.5 交叉验证可视化1.5 总结关于决策树原理，可以参考这篇文章：监督学习 | 决策树原理及Python实现关于决策树的 Sickit-learn 实现，可以参考这篇文章：监督学习 | 决策树之Sklearn实现关于网络搜索，可以参考这篇文章：机器学习 | 网...

文章目录1. Sklearn中决策树的超参数1.1 最大深度 max_depth1.2 每片叶子的最小样本数 min_samples_leaf1.3 每次分裂的最小样本数 min_samples_split1.4 最大特征数 max_features2. 使用 Scikit-learn 实现决策树算法3. 实例：使用决策树探索泰坦尼克号乘客存活情况¶3.1 数据导入3.2 数据预处理3.2.1 O...

文章目录1. 信息熵 Information Entropy1.1 信息熵公式推导2. 信息增益 Information Gain2.1 信息增益最大化2.1.1 利用离散特征进行分类2.1.2 利用连续特征进行分类2.1.2.1 二分法2.1.2.2 信息熵、信息增益及二分法的Python实现参考资料1. 信息熵 Information Entropy信息是个很抽象的概念。人们常常说信息很多...

Table of Contents1. Sklearn 实现朴素贝叶斯1.1 数据导入1.2 数据预处理1.3 拆分训练集和测试集1.4 Bag of Words1.4.1 Sklearn 实现 Bag of Words：CountVectorizer1.4.1.1 count_vector = CountVectorizer(lowercase='True', token_pattern, s...

Table of Contents1. 贝叶斯理论1.1 贝叶斯定理[1]1.2 贝叶斯分类算法1.3 朴素贝叶斯分类算法[2]1.3.1 朴素贝叶斯分类器实例学习过程预测过程2 Python实现[3]2.1 拉普拉斯修正2.2 对数变换参考资料1. 贝叶斯理论1.1 贝叶斯定理[1]贝叶斯定理旨在计算P(A∣B)P(A|B)P(A∣B)的值，也就是在已知B发生的条件下，A发生的概率是多...

文章目录1. 多项式回归2. Sklearn 实现参考资料相关文章：机器学习 | 目录机器学习 | 回归评估指标监督学习 | 线性回归 之多元线性回归原理及Sklearn实现监督学习 | 线性回归 之正则线性模型原理及Sklearn实现1. 多项式回归对于非线性数据，也可以用线性模型来拟合。一个简单的方法就是将每个特征的幂次方添加为一个新特征，然后在这个拓展多的特征集上训练线性模型。...

文章目录CART 算法1. CART 生成1.1 回归树生成最小二乘回归树生成算法1.2 分类树生成基尼指数CART 生成算法参考文献相关文章：机器学习 | 目录监督学习 | ID3 决策树原理及Python实现监督学习 | ID3 & C4.5 决策树原理监督学习 | 决策树之Sklearn实现监督学习 | 决策树之网络搜索本文大部分内容搬运自李航老师的《统计学习方法》[1...