![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础算法
蜗牛先生上坡不费力
就任:京东集团算法工程师
联系方式:zzh_0729@foxmail.com
欢迎沟通交流与合作洽谈
展开
-
【机器学习基础算法系列】【贰】全面详解支持向量机SVM(Support Vector Machine)
文章目录算法流程拉格朗日对偶问题推导软间隔kernel序列最小最优化算法SMO算法流程支持向量机由简单到复杂有多种模型:线性可分的支持向量机,线性支持向量机,非线性支持向量机。其中线性可分的支持向量机又称之为硬间隔支持向量机;近似线性支持向量机又称之为软间隔支持向量机;非线性支持向量机是一种使用kernel核技巧即软间隔的支持向量机。本章节的流程是线性可分的支持向量机,在本章节内都简称为支持...原创 2019-12-27 14:07:23 · 209 阅读 · 0 评论 -
【机器学习基础算法系列】【伍】全面详解Xgboost
文章目录算法流程Shrinkage and Column Subsampling近似算法针对稀疏数据的算法(缺失值处理)算法优点算法流程定义目标函数xgboost本身就是一种树的boosting方式,同GBDT一样采用前相加法训练的方式进行残差的迭代,最终将叶子节点的值相加即得到最终过的输出。因此XGB的输出y^=∑k=1Kfk(x)\hat y=\sum_{k=1}^Kf_k(x)...原创 2019-12-26 11:29:35 · 310 阅读 · 0 评论 -
【机器学习基础算法系列】【肆】全面详解GBDT(Gradient Boosting Decision Tree)
文章目录算法流程常见问题算法流程回归树的生成【参考李航书,CART决策树算法浅谈(回归树部分)讲的也比较好】:1)穷举扫描每一个属性特征及其取值,选取使均方误差最小的特征进行分枝;2)根据划分到两个分枝的数据子集对应的y的平均值获得c1和c2,分别计算两个数据子集的平均绝对误差,选取可以使均方误差最小的特征和取值对作为节点,并确定子节点处的预测值为对应的c1和c2;3)对子节点重复...原创 2019-12-26 11:26:33 · 279 阅读 · 0 评论 -
【机器学习基础算法系列】【叁】全面详解决策树(Decision Tree)
文章目录符号定义增益计算树的生成树的剪枝符号定义DDD为训练数据集,∣D∣|D|∣D∣为训练数据集样本个数CCC为样本所属类别,CkC_kCk表示样本所属为第kkk类,∣Ck∣|C_k|∣Ck∣表示所属第kkk类的样本数,∑k=1K∣Ck∣=∣D∣\sum_{k=1}^K|C_k|=|D|∑k=1K∣Ck∣=∣D∣AAA为特征集,AkA_kAk表示第kkk个特征,$a_i\in...原创 2019-12-26 11:24:34 · 201 阅读 · 0 评论 -
【机器学习基础算法系列】【壹】全面详解逻辑回归LR(Logistics Regression)
文章目录算法流程正则化LR使用Sigmoid函数的原因LR的输出是否为真实的概率算法流程逻辑回归(Logistics Regression)虽然名为回归,但大部分的场景都用来做分类任务,其与线性回归等一系列回归任务仅存在因变量分布的区别,这点会在【广义线性模型】章节详述。回归问题的常规步骤构造假设预测函数(hypothesis)构造损失函数(loss)寻找损失函数最小优化算法(op...原创 2019-12-26 11:19:16 · 477 阅读 · 0 评论 -
【机器学习基础算法系列】【零】学习ML基础算法看这个系列就够了
本系列全面、详细、清晰的介绍机器学习常用算法。包括算法流程、算法推导、常见问题与解答等。学习ML基础算法,关注这一系列就够了。原创 2019-12-26 11:13:19 · 117 阅读 · 0 评论