![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习 (ML)
文章平均质量分 92
GoWeiXH
天道酬效勤
展开
-
矩阵分解 - 奇异值分解 SVD
矩阵分解 - 奇异值分解 SVD奇异值分解几何解释紧奇异值分解(无损压缩)计算方法截断奇异值分解(有损压缩)计算方法(矩阵的外积展开式)实际意义奇异值分解奇异值分解,Singular value decomposition(SVD)在推荐、图像等多个领域中,因为数据矩阵的庞大,所以经常需要对矩阵进行压缩;亦或有噪声,要进行去噪,奇异值分解就是解决方法中的一个。它将矩阵分解为三个矩阵相乘的...原创 2019-07-19 21:34:40 · 1017 阅读 · 0 评论 -
机器学习 - 期望最大(EM)算法
机器学习 - 期望最大(EM)算法引述引例算法过程过程推导原创 2019-01-15 22:05:16 · 768 阅读 · 0 评论 -
机器学习 - 支持向量机(4)- SMO(序列最小最优化算法)
机器学习 - 支持向量机(4)SMO(序列最小最优化算法)动机算法过程两个变量的二次规划两个变量的选择原创 2019-01-08 16:38:31 · 507 阅读 · 0 评论 -
机器学习 - 隐马尔科夫模型(2)- 前向 and 后向算法
机器学习 - 隐马尔科夫模型(2)- 前向 and 后向算法前向算法前向概率观测序列概率的前向算法例子后向算法后向概率观测序列概率的后向算法例子原创 2019-01-12 22:53:40 · 491 阅读 · 1 评论 -
机器学习 - 隐马尔科夫(HMM)目录索引
概念 and 直接计算法前向 - 后向算法学习算法(监督学习方法 以及 Baum-Welch 算法)预测算法(近似算法、维特比)三个基本问题原创 2019-01-12 20:08:02 · 292 阅读 · 5 评论 -
机器学习 - 隐马尔科夫模型(1)- 概念 and 直接计算法
机器学习 - 隐马尔科夫模型(1)HMM 概念 and 直接计算法引述定义两个集合两个序列两个概率矩阵其他参数模型举例概率计算方法直接计算法原创 2019-01-12 20:01:45 · 565 阅读 · 0 评论 -
机器学习 - 隐马尔科夫模型(4)- 预测算法
机器学习 - 隐马尔科夫模型(4)- 预测算法近似算法算法过程特点维特比算法算法过程举例原创 2019-01-17 14:26:17 · 671 阅读 · 0 评论 -
机器学习 - 支持向量机(2)- 线性 SVM(软间隔最大化)
机器学习 -支持向量机(2)线性 SVM(软间隔最大化)线性 SVM软间隔最大化对偶算法支持向量原创 2019-01-04 22:59:16 · 2531 阅读 · 7 评论 -
机器学习 - 支持向量机(1)- 线性可分 SVM(间隔最大化)
机器学习 -支持向量机(1)线性可分 SVM(间隔最大化)线性可分 SVM函数间隔与几何间隔几何间隔函数间隔关系硬间隔最大化对偶算法支持向量原创 2019-01-01 15:32:22 · 2159 阅读 · 2 评论 -
机器学习 - 支持向量机(SVM)目录索引
SVM目录索引线性可分 SVM:硬间隔最大化线性 SVM:软间隔最大化非线性 SVM:核技巧序列最小最优化算法 (SMO)特点原创 2019-01-01 13:38:03 · 1342 阅读 · 0 评论 -
机器学习 - 支持向量机(3)- 非线性 SVM(核技巧)
机器学习 - 支持向量机(3)非线性 SVM(核技巧)动机核函数核技巧核函数特点举例常用核函数多项式核函数高斯核函数算法过程原创 2019-01-04 22:58:25 · 922 阅读 · 0 评论 -
机器学习 - 贝叶斯网络
机器学习 - 贝叶斯网络概率图模型贝叶斯网络网络结构动态贝叶斯网络原创 2019-01-20 22:36:59 · 1092 阅读 · 0 评论 -
特征工程 - 数据分析 - 峰度 and 偏度
特征工程 - 数据分析 - 峰度 and 偏度偏度峰度偏度偏度(Skewness)用来描述数据分布的对称性。当偏度 <0 时,称为负偏,数据出现左侧长尾;当偏度>0时,称为正偏,数据出现右侧长尾。正态分布是对称的,其偏度为 0。当数据偏度为 0 时,表示数据相对均匀的分布在平均值两侧,但不一定是正态分布。当偏度绝对值过大时,长尾的一侧出现极端值的可能性较高。下图...原创 2019-05-13 16:03:10 · 4087 阅读 · 0 评论 -
有偏估计 and 无偏估计 - 方差分母 n-1(详细证明)
有偏估计 and 无偏估计方差分母 n-1 - 详细证明均值 - 无偏估计方差 - 有偏估计方差 - 转换成无偏估计原创 2019-05-19 08:49:35 · 4838 阅读 · 4 评论 -
机器学习 - 特征工程 - 多种编码方式的实现(Python)
机器学习 - 特征工程 - 多种编码方式的实现(Python)序号编码使用 replace 实现使用 map 实现One_Hot 编码pandas 实现sklearn 实现二进制编码实现代码运行效果原创 2019-04-22 17:01:13 · 2354 阅读 · 1 评论 -
机器学习 - 决策树的可视化
机器学习 - 决策树的可视化安装 Graphviz安装 graphviz 的 python 库基于决策树模型生成 png 图片效果展示原创 2019-04-21 17:59:26 · 358 阅读 · 0 评论 -
GoWeiXH:本博客内容导航
机器学习深度学习优化算法采样算法其他原创 2018-12-09 20:59:47 · 939 阅读 · 1 评论 -
优化算法 - 正态分布 and 最小二乘法
正态分布 and 最小二乘法最小二乘法的过往正态分布的前生二者的联姻转载 2019-01-18 15:11:18 · 2963 阅读 · 0 评论 -
优化算法 - 牛顿法 and 拟牛顿法
优化算法 - 牛顿法 and 拟牛顿法预备知识无约束优化问题Hesse 矩阵泰勒展开式牛顿法形象化解释公式化解释算法过程拟牛顿法拟牛顿条件DFP (Davidon-Fletcher-Powell)算法推导算法过程BFGS (Broyden-Fletcher-Goldfarb-Shanno)总结原创 2019-04-07 13:22:34 · 513 阅读 · 0 评论 -
机器学习 - 隐马尔科夫模型(3)- 学习算法
机器学习 - 隐马尔科夫模型(3)- 学习算法监督学习算法初始状态概率向量 Π 的估计状态转移概率的估计观测概率的估计无监督 Baum-Welch 算法Baum-Welch 算法推导原创 2019-01-15 21:47:14 · 606 阅读 · 0 评论 -
L1、L2 正则项详解 - 解空间、先验分布、最大似然估计 and 最大后验估计
L1、L2 正则项详解(解空间、先验分布)引入直观看解空间先验分布最大似然估计最大后验估计原创 2018-12-11 22:25:38 · 4509 阅读 · 1 评论 -
机器学习 - 提升树(下)- XGBoost 以及与 GBDT 的比较
机器学习 - 提升树(下)XGBoost 以及与 GBDT 的比较XGBoost(eXtreme Gradient Boost)原理预剪枝与 GBDT 的比较原创 2018-12-17 17:15:37 · 450 阅读 · 0 评论 -
机器学习 - 感知器
机器学习感知器二分类线性模型损失函数梯度下降更新参数线性分类器的理解原创 2018-12-05 16:34:37 · 515 阅读 · 0 评论 -
机器学习 - KNN、KD树、偏差 and 方差
机器学习KNN、KD树、偏差 and 方差KNN算法步骤距离度量K 的选取多数表决规则KNN 特点KD 树偏差与方差原创 2018-12-05 16:01:28 · 1264 阅读 · 0 评论 -
机器学习 - 集成方法(Bagging VS. Boosting 以及随机森林、AdaBoost)
机器学习 - 集成方法(Bagging VS. Boosting 以及随机森林)集成方法BaggingBagging 分类:Bagging 的预测:Boosting两个定义两个问题Bagging VS. Boosting随机森林AdaBoostAdaBoost 算法过程训练误差界AdaBoost 算法的解释原创 2018-12-07 17:12:16 · 973 阅读 · 0 评论 -
模型调优方法
模型调优方法参数调整效果优化过拟合欠拟合权重分析Bad-Case 分析原创 2018-12-03 10:06:03 · 4442 阅读 · 0 评论 -
特征工程 - 特征变换、构造 and 选择
特征工程数值型归一化函数映射离散化类别型One-Hot编码(哑变量)序号编码二进制编码聚类处理统计决策树路径编码改变粒度时间型统计特征文本型词袋模型N-GramTF-IDF组合特征特征两两相互组合 + 选则决策树路径编码特征选择过滤型包裹型嵌入型原创 2018-11-28 15:56:49 · 914 阅读 · 0 评论 -
机器学习 - 样本不均衡 and 不足的处理办法
机器学习-样本不均衡或不足的处理办法降采样倍采样混合采样代价敏感学习样本不足原创 2018-11-27 17:06:56 · 5777 阅读 · 0 评论 -
损失函数、大数定律 and 中心极限定理
损失函数期望损失大数定律中心极限定理经验损失结构损失损失函数种类回归中的损失函数平方损失绝对损失Huber 损失Log-Cosh 损失分类中的损失函数0-1 损失Hinge 损失对数损失原创 2018-12-02 23:12:54 · 905 阅读 · 0 评论 -
机器学习 - 最大熵模型
机器学习最大熵模型最大熵原理最大熵例子最大熵模型定义最大熵模型的学习极大似然估计求解原创 2018-12-04 16:46:37 · 1435 阅读 · 1 评论 -
机器学习 - 评价指标
机器学习评价指标准确率(Accuracy)召回率(Recall) / 灵敏度(Sensitive)特异度(Specificity)精准度(Precision)F ScoreROC曲线(Receiver Operating Characteristic Curve)AUC(Area Under Curve)原创 2018-11-26 19:48:47 · 503 阅读 · 0 评论 -
机器学习 - 线性回归、最小二乘解
机器学习线性回归梯度下降梯度下降(Gradient Descent)随机梯度下降最优解?多项式回归最小二乘解原创 2018-11-29 16:45:46 · 587 阅读 · 0 评论 -
机器学习 - 凸优化、拉格朗日对偶以及 KKT 条件
机器学习凸优化、拉格朗日对偶性和 KKT 条件凸集凸函数凸优化水平子集仿射函数优化约束优化拉格朗日对偶性原始问题原始问题的拉格朗日函数原始问题的对偶问题原始问题与对偶问题的关系KKT 条件原创 2018-12-01 20:54:47 · 1971 阅读 · 2 评论 -
机器学习 - K-Means、K-Means++ 以及 ISOData
机器学习 - K-Means、K-Means++ 以及 ISODataK-MeansK-Means++ISODataK-Means 与 KNN 比较原创 2018-12-12 17:03:28 · 1149 阅读 · 0 评论 -
机器学习 - 提升树(上)- BT、GBDT
机器学习 - 提升树(上)- BT、GBDTBT(Boosting Tree)介绍原理算法过程举例GBDT(Gradient Boosting Decision Tree)原理特点原创 2018-12-17 15:38:42 · 696 阅读 · 0 评论 -
优化算法 - 梯度下降(导数、方向导数 and 梯度)
梯度下降(导数、方向导数 and 梯度斜率、导数 and 梯度斜率、导数偏导数方向导数梯度梯度下降反向传播原创 2018-12-16 21:32:48 · 2617 阅读 · 2 评论 -
数据划分 - Hold-Out、K-Fold CV、Bootstrap
数据划分 Hold-Out、K-Fold CV、Bootstrap引入Hold-OutK-Fold CVBootstrap原创 2018-12-16 10:48:12 · 7848 阅读 · 0 评论 -
邻近性的度量 (距离、相似度)
邻近性的度量距离、相似度简单匹配系数Jaccard 系数广义 Jaccard 系数距离余弦相似度皮尔森系数Bregman 散度选择正确的度量指标原创 2018-12-14 23:45:30 · 4752 阅读 · 1 评论 -
机器学习 - 决策树(下)- CART 以及与 ID3、C4.5的比较
机器学习 - 决策树(下)CART 以及与 ID3、C4.5的比较CART回归树分类树剪枝剪枝选择决策树特点总结ID3,C4.5,CART 比较原创 2018-12-09 19:23:01 · 647 阅读 · 0 评论 -
机器学习 - 决策树(中)- ID3、C4.5 以及剪枝
机器学习 - 决策树(中)ID3、C4.5 以及剪枝决策树简述决策树过程ID3C4.5过拟合剪枝定义剪枝过程原创 2018-12-09 17:24:10 · 1337 阅读 · 0 评论