自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 机器学习 | 目录(持续更新)

侠的机器学习笔记 使用博客来记录自己的机器学习过程,笔记是通过网络、书籍以及自我总结而成的。 本笔记分为三部分: 机器学习基础 监督学习算法 非监督学习算法 所有已完成的笔记都会发布到 CSDN Blog 上,感兴趣的小伙伴可以关注一下,我将会坚持更新机器学习以及深度学习的笔记...

2019-08-17 12:47:21

阅读数 185

评论数 0

原创 咕咕咕

咕 咕咕 咕咕咕 咕咕咕咕 咕咕咕咕咕 最近刚忙完一个会议和其他一大堆事情,距离 Udacity 的毕业项目截止还有一个月,可是我强化学习还没学完,写完毕业项目又得期末复习了,呜呜呜 所以深度学习和强化学习的笔记得鸽一段时间了,等我期末考完放寒假再说吧! ...

2019-11-17 21:17:30

阅读数 15

评论数 0

原创 无监督学习 | PCA 主成分分析之客户分类

文章目录1. 开始2. 数据探索2.2 特征相关性2.3 可视化特征分布3. 数据预处理3.1 特征缩放3.2 异常值检测4. 数据转换4.1 主成分分析(PCA)4.2 降维4.3 双标图(Biplot)可视化5. 聚类5.1 创建聚类5.2 聚类可视化6. 数据恢复7. 利用聚类结果进行预测 ...

2019-10-15 20:40:29

阅读数 47

评论数 0

原创 无监督学习 | PCA 主成分分析原理及Sklearn实现

文章目录1. 降维2. PCA2.1 最大化方差和最小化损失2.2 坐标轴旋转3. PCA 推导3.1 PCA 算法推导3.2 维数选择4. Sklearn 实现4.1 主成分可视化参考文献 相关文章: 机器学习 | 目录 1. 降维 假设你在使用一组数据来预测房价,你的数据包含以下特征:...

2019-10-14 21:17:47

阅读数 79

评论数 1

原创 无监督学习 | 层次聚类 之凝聚聚类原理及Sklearn实现

文章目录1. 层次聚类1.1 凝聚聚类1.2 层次图1.3 不同凝聚算法比较2. Sklearn 实现2.1 层次图可视化参考文献 1. 层次聚类 层次聚类(hierarchical clustering)试图在不同层次对数据集进行划分,从而形成树形的聚类结构。数据集的划分可采用“自底向上”的...

2019-10-11 00:54:17

阅读数 139

评论数 0

原创 无监督学习 | DBSCAN 原理及Sklearn实现

文章目录1. 密度聚类2. DBSCAN2.1 算法原理3. DBSCAN 优缺点3.1 优点3.2 缺点3.3 与 KMeans 比较4. SKlearn 实现5. 在线可视化 DBSCAN参考文献 相关文章: 机器学习 | 目录 机器学习 | 聚类评估指标 机器学习 | 距离计算 无监督学习 ...

2019-10-09 21:20:45

阅读数 70

评论数 0

原创 无监督学习 | GMM 高斯混合聚类原理及Sklearn实现

文章目录1. 高斯混合聚类1.1 高斯混合分布1.2 参数求解1.3 EM 算法2. Sklearn 实现参考文献 相关文章: 机器学习 | 目录 机器学习 | EM 算法原理 无监督学习 | KMeans与KMeans++原理 无监督学习 | KMeans之Sklearn实现:电影评分...

2019-10-09 16:01:43

阅读数 361

评论数 0

原创 机器学习 | EM 算法原理

文章目录EM 算法1. EM 算法的引入三硬币模型2. EM 算法Q 函数参考文献 相关文章: 机器学习 | 目录 本文大部分内容搬运自李航老师的《统计学习方法》[1],以给出 EM 算法较为完整的定义。 EM 算法 EM 算法是一种迭代算法,1977 年由 Dempster 等人总结提...

2019-10-07 01:06:18

阅读数 83

评论数 0

原创 监督学习 | CART 分类回归树原理

文章目录CART 算法1. CART 生成1.1 回归树生成最小二乘回归树生成算法1.2 分类树生成基尼指数CART 生成算法参考文献 相关文章: 机器学习 | 目录 监督学习 | ID3 决策树原理及Python实现 监督学习 | ID3 & C4.5 决策树原理 监督学习 | 决策树之...

2019-10-05 20:44:03

阅读数 57

评论数 0

原创 监督学习 | ID3 & C4.5 决策树原理

文章目录决策树1. 特征选择1.1 熵1.2 条件熵1.3 信息增益1.4 信息增益率2. 决策树生成算法1 信息增益及信息增益率的算法2.1 ID3 算法2.2 C4.5 算法3. 决策树剪枝3.1 预剪枝3.2 后剪枝算法2 树的剪枝算法参考文献 相关文章: 机器学习 | 目录 监督学习...

2019-10-05 11:20:04

阅读数 48

评论数 0

转载 机器学习 | 特征缩放

文章目录1. 特征缩放1.1 最大最小值归一化(min-max normalization)sklearn.preprocessing.MinMaxScaler1.2 均值归一化(mean normalization)1.3 中心化(mean centering)1.4 标准化 / z值归一化(s...

2019-09-10 00:19:17

阅读数 31

评论数 0

原创 无监督学习 | KMeans之Sklearn实现:电影评分聚类

文章目录1. KMeans in Sklearn2. Sklearn 实例:电影评分的 k 均值聚类2.1 数据集概述2.2 二维 KMeans 聚类3. 肘部法选取最优 K 值4. 多维 KMeans 聚类4.1 三维 KMeans 聚类4.2 高维 KMeans 聚类4.2.1 热力图可视化4...

2019-09-08 20:30:34

阅读数 446

评论数 0

原创 无监督学习 | KMeans与KMeans++原理

文章目录1. 原型聚类1.1 KMeans1.1.1 最小化成本函数1.1.2 实例1.2 KMeans++1.2.1 KMeans++ 初始化实例参考资料 相关文章: 机器学习 | 目录 机器学习 | 聚类评估指标 机器学习 | 距离计算 无监督学习 | KMeans之Skleaen实...

2019-09-08 00:10:10

阅读数 84

评论数 0

原创 机器学习 | 距离计算

文章目录距离计算1. 闵可夫斯基距离(连续属性、有序属性)1.1 曼哈顿距离1.2 欧氏距离2. VDM 距离(无序属性)3. MinkovDM 距离(混合属性)4. 加权距离(重要性不同)参考资料 距离计算 对函数 dist(⋅,⋅)dist(\cdot,\cdot)dist(⋅,⋅) ,若...

2019-09-07 11:24:53

阅读数 63

评论数 0

原创 机器学习 | 聚类评估指标

文章目录1. 聚类评估指标1.1 外部评估指标RI 兰德指数ARI 调整兰德指数Jaccard JC指数FMI FMI指数MI 互信息NMI 归一化互信息AMI 调整互信息1.2 内部评估指标DBI 戴维森堡丁指数DI Dunn指数SC 轮廓系数参考文献 1. 聚类评估指标 Clusterin...

2019-09-05 00:05:08

阅读数 271

评论数 0

原创 监督学习 | 线性分类 之Logistic回归原理及Sklearn实现

文章目录1. Logistic 回归1.1 Logistic 函数1.2 Logistic 回归模型1.2.1 模型参数估计2. Sklearn 实现参考资料 相关文章: 机器学习 | 目录 监督学习 | 线性回归 之多元线性回归原理及Sklearn实现 监督学习 | 非线性回归 之多项式...

2019-08-27 23:55:06

阅读数 114

评论数 0

原创 机器学习 | 早期停止法原理及Python实现

文章目录1. 早期停止法1.2 Python 实现参考文献 相关文章: 机器学习 | 目录 机器学习 | 梯度下降原理及Python实现 1. 早期停止法 对于梯度下降这一类迭代学习的算法,还有一个与众不同的正则化方法,就是在验证误差达到最小值时停止训练,该方法叫作早期停止法。下图展现了...

2019-08-27 16:00:26

阅读数 84

评论数 0

原创 监督学习 | 线性回归 之正则线性模型原理及Sklearn实现

文章目录1. 正则线性模型1.1 Ridge Regression(L2)1.1.1 Sklearn 实现1.1.2 Ridge + SDG1.1.2.1 Sklearn 实现1.2 Lasso Regression(L1)1.2.1 Sklearn 实现1.2.2 Lasso + SGD1.2....

2019-08-26 22:46:58

阅读数 85

评论数 0

原创 监督学习 | 非线性回归 之多项式回归原理及Sklearn实现

文章目录1. 多项式回归2. Sklearn 实现参考资料 相关文章: 机器学习 | 目录 机器学习 | 回归评估指标 监督学习 | 线性回归 之多元线性回归原理及Sklearn实现 监督学习 | 线性回归 之正则线性模型原理及Sklearn实现 1. 多项式回归 对于非线性数据,也...

2019-08-25 21:57:20

阅读数 353

评论数 0

原创 监督学习 | 集成学习 之AdaBoost、梯度提升及Slearn实现

文章目录Boosting1. AdaBoost1.1 AdaBoost 原理1.2 Python 实现1.3 Sklearn 实现2. 梯度提升2.1 梯度提升回归树(GBRT)2.1.1 Python 实现2.1.2 Sklearn 实现2.1.3 早期停止法2.1.4 随机梯度提升参考资料 相...

2019-08-23 01:46:27

阅读数 45

评论数 0

原创 监督学习 | 集成学习 之Bagging、随机森林及Sklearn实现

文章目录集成学习1. 投票分类器1.1 硬投票法1.2 软投票法2. Bagging & Pasting2.1 包外评估2.2 Random Patches 和 随机子空间3. 随机森林3.1 极端随机树3.2 特征重要性参考资料 相关文章: 机器学习 | 目录 监督学习 | 决策树...

2019-08-22 14:10:42

阅读数 139

评论数 0

原创 监督学习 | SVM 之支持向量机Sklearn实现

文章目录Sklearn 支持向量机1. 支持向量机分类1.1 线性 SVM 分类1.2 非线性 SVM 分类1.2.1 多项式核1.2.2 高斯 RBF 内核2. 支持向量机回归2.1 线性 SVM 回归2.2 非线性 SVM 回归2.2.1 多项式内核参考资料 相关文章: 机器学习 | 目录...

2019-08-19 00:59:45

阅读数 147

评论数 0

原创 监督学习 | SVM 之非线性支持向量机原理

文章目录1. 非线性支持向量机1.1 核技巧1.2 核函数1.2.1 核函数选择1.2.2 RBF 函数参考资料 相关文章: 机器学习 | 目录 机器学习 | 网络搜索及可视化 监督学习 | SVM 之线性支持向量机原理 1. 非线性支持向量机 对解线性分类问题,线性分类支持向量机是一...

2019-08-17 22:18:46

阅读数 63

评论数 0

原创 监督学习 | SVM 之线性支持向量机原理

文章目录支持向量机1. 线性可分支持向量机1.1 间隔计算公式推导1.2 硬间隔最大化1.2.1 原始问题1.2.2 对偶算法1.3 支持向量2. 线性支持向量机2.1 软间隔最大化2.1.1 原始问题2.1.2 对偶算法2.2 支持向量2.3 合页损失函数参考资料 支持向量机 支持向量机(S...

2019-08-17 01:01:26

阅读数 94

评论数 0

原创 机器学习 | 梯度下降原理及Python实现

文章目录1. 梯度下降1.1 批量梯度下降(BGD)1.1.1 学习率的设置1.1.2 Python 实现 BGD1.2 随机梯度下降(SGD)1.2.1 Python 实现 SGD1.2.2 Sklearn 实现 SGD1.3 小批量随机下降(MBGD)2. 三类梯度下降的比较参考资料 相关文...

2019-08-14 01:49:30

阅读数 62

评论数 0

原创 监督学习 | 线性回归 之多元线性回归原理及Sklearn实现

文章目录1. 线性回归1.1 基本形式1.2 最小二乘法推导2. Sklearn 实现参考资料 相关文章:机器学习 | 回归评估指标 1. 线性回归 线性回归,又称普通最小二乘法(Ordinary Least Squares, OLS),是回归问题最简单也最经典的线性方法。线性回归需按照参数...

2019-08-12 22:25:29

阅读数 92

评论数 0

原创 监督学习 | 决策树之网络搜索

文章目录1. 通过网格搜索完善模型1.1 数据导入1.2 拆分数据为训练集和测试集1.3 拟合决策树模型1.4 使用网络搜索完善模型1.5 交叉验证可视化1.5 总结 关于决策树原理,可以参考这篇文章:监督学习 | 决策树原理及Python实现 关于决策树的 Sickit-learn 实现,可...

2019-08-12 01:04:35

阅读数 52

评论数 0

原创 机器学习 | 网络搜索及可视化

文章目录1. 网络搜索1.1 简单网络搜索1.2 参数过拟合的风险与验证集1.3 带交叉验证的网络搜索1.3.1 Python 实现1.3.2 Sklearn 实现1.4 网络搜索可视化1.4.1 在网络空间中的搜索1.4.1.1 错误的参数设置和可视化1.4.2 在非网络空间的搜索参考资料 1...

2019-08-11 22:03:13

阅读数 82

评论数 0

原创 机器学习 | 模型选择

文章目录1. 模型验证1.1 错误的模型验证方法1.2 正确的模型验证方法1.2.1 留出集1.2.2 交叉验证1.2.3 K折交叉验证1.2.4 留一法 LOO2. 偏差-方差2.1 泛化误差、偏差及方差2.2 泛化误差与偏差及方差的关系3. 拟合程度3.1 欠拟合与过拟合3.2 影响拟合程度的...

2019-08-10 21:40:19

阅读数 39

评论数 0

原创 机器学习 | 回归评估指标

文章目录1. 回归评估指标1.1 平均绝对误差 MAE1.1.1 Sklearn 计算 MAE1.2 均方误差 MSE1.2.1 Sklearn 计算 MSE1.3 $R^2$1.3.1 Sklearn 计算$R^2$2 参考资料 关于分类评估指标,可以参考我的另一片文章:机器学习 | 分类评估...

2019-08-08 23:33:03

阅读数 102

评论数 0

原创 机器学习 | 分类评估指标

文章目录1. 分类评估指标1.1 混淆矩阵 Confusion Matrix1.1.1 scikit-learn 混淆矩阵函数接口1.2 真阳性TP、假阳性FP、真阴性TN、假阴性FN1.2.1 衍生评估指标1.3 准确率 Accuracy1.3.1 准确率不适用的情形:信用卡欺诈检测模型(不平衡...

2019-08-08 23:29:27

阅读数 136

评论数 0

原创 监督学习 | 决策树之Sklearn实现

文章目录1. Sklearn中决策树的超参数1.1 最大深度 max_depth1.2 每片叶子的最小样本数 min_samples_leaf1.3 每次分裂的最小样本数 min_samples_split1.4 最大特征数 max_features2. 使用 Scikit-learn 实现决策树...

2019-08-07 15:35:59

阅读数 48

评论数 0

原创 监督学习 | ID3 决策树原理及Python实现

文章目录1. 信息熵 Information Entropy1.1 信息熵公式推导2. 信息增益 Information Gain2.1 信息增益最大化2.1.1 利用离散特征进行分类2.1.2 利用连续特征进行分类2.1.2.1 二分法2.1.2.2 信息熵、信息增益及二分法的Python实现参...

2019-08-06 21:51:30

阅读数 89

评论数 0

原创 监督学习 | 朴素贝叶斯原理及Python实现

Table of Contents 1. 贝叶斯理论1.1 贝叶斯定理[1]1.2 贝叶斯分类算法1.3 朴素贝叶斯分类算法[2]1.3.1 朴素贝叶斯分类器实例学习过程预测过程2 Python实现[3]2.1 拉普拉斯修正2.2 对数变换参考资料 1. 贝叶斯理论 1.1 贝叶斯定理[1...

2019-08-05 18:37:34

阅读数 102

评论数 0

原创 监督学习 | 朴素贝叶斯之Sklearn实现

Table of Contents 1. Sklearn 实现朴素贝叶斯1.1 数据导入1.2 数据预处理1.3 拆分训练集和测试集1.4 Bag of Words1.4.1 Sklearn 实现 Bag of Words:CountVectorizer1.4.1.1 count_vector ...

2019-08-05 18:18:55

阅读数 65

评论数 0

提示
确定要删除当前文章?
取消 删除