机器学习模型详细推导
文章平均质量分 91
学习算法,进行模型的详细推导。参考《统计学习方法》李航+《机器学习》周志华
Kevin亓(Qi)
努力做一个有温度的科技工作者。
展开
-
【机器学习模型详细推导5】-朴素贝叶斯分类
朴素贝叶斯分类一. 朴素贝叶斯分类介绍二. 算法推导详解三. 附上《统计学习方法》中的算法流程一. 朴素贝叶斯分类介绍首先,对于更定数据集{(x1,y1),(x2,y2),…,(xm,ym)}\{ (x_1,y_1),(x_2,y_2),…,(x_m,y_m) \}{(x1,y1),(x2,y2),…,(xm,ym)},可以得到 P(X∣Y)P(X|Y)P(X∣Y) 和 P(Y)P...原创 2018-11-25 20:23:41 · 2520 阅读 · 0 评论 -
【机器学习模型】集成学习总结
集成学习一. 同质集成1. Boosting2. Bagging3. Stacking二. 异质集成1. 平均法2. 投票法3. 学习法(Stacking)三. “好而不同”1. 数据样本扰动2. 输入属性扰动3. 输出表示扰动4. 算法参数扰动首先,集成学习是将多个个体学习器进行结合。若同种类型的个体学习器集成,就是“同质集成”;若集成包含不同类型的个体学习器,就叫“异质集成”。一....原创 2018-11-23 22:59:01 · 694 阅读 · 0 评论 -
【机器学习模型详细推导4】-决策树
决策树一. 决策树介绍二. ID3/C4.5三. CART算法1、最小二乘回归树生成算法2、CART分类树3、CART剪枝一. 决策树介绍模型: 一个树形的判断结构,内部结点表示特征或属性,叶子节点表示一个分类如何学习一个决策树:特征选择树的生成决策树剪枝实现算法: ID3、C4.5、CART二. ID3/C4.50)熵:描述数据集合不确定性的方法熵:H(D)=−∑...原创 2018-11-22 20:23:52 · 1139 阅读 · 0 评论 -
【ML模型详细推导3】- 感知机
感知机1. 一句话介绍感知机2. 模型介绍(原始形式)3. 感知机的对偶形式1. 一句话介绍感知机· 一个二分类的线性分类模型。· 感知机学习旨在求出将训练集数据进行线性划分的分类超平面,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得模型。· 分为原始形式和对偶形式。2. 模型介绍(原始形式)前提:数据集要求线性可分性- 模型:f(x)=sign(wx+b)...原创 2018-11-22 09:51:20 · 364 阅读 · 0 评论 -
【机器学习模型详细推导2】- 逻辑回归
逻辑回归1. 模型引入2. 模型描述3. 模型求解策略(代价函数)4. 模型求解算法 - 梯度下降1. 模型引入线性模型可以进行回归学习(参见【机器学习模型1】- 线性回归),但如何用于分类任务?需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。对于二分类任务,输出标记 yyy 取值 {0,1}\{0, 1\}{0,1},而线性回归预测值 z=wTx+bz = w...原创 2018-10-28 11:03:33 · 392 阅读 · 0 评论 -
【ML模型详细推导1】- 线性回归
线性回归0. 数据集和目标1. 模型2. 策略3. 算法学习过程主要顺着 周志华《机器学习》第三章线性模型 内容,本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。0. 数据集和目标1. 模型2. 策略3. 算法参考:ML模型2:线性回归模型...原创 2018-10-20 10:35:13 · 949 阅读 · 0 评论