![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
豆沙糕
这个作者很懒,什么都没留下…
展开
-
机器学习笔记01_ 线性回归&逻辑回归
什么是回归算法 •回归算法是一种有监督算法,即需要给样本的特征打上标签。 •回归算法是一种比较常用的机器学习算法,用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系;从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性/特征(X)与标签(Y)之间的映射关系,在算法的学习过程中,试图寻找一个函数 使得参数之间的关系拟合性最好。 •回归算法中算法(函数)的最终结果是一个连...原创 2019-03-14 16:14:08 · 610 阅读 · 0 评论 -
机器学习笔记02_softmax回归
Softmax回归 softmax 回归是 logistic 回归的一般化,适用于K分类的问题,即多分类问题。针对于每个类别都有一个参数向量 θ (即每个类别都一套对应该类别的),第k类的参数为向量,组成的二维矩阵为*n; softmax 只适用于样本单分类。例如,输入一张图片,softmax 可以判断这张图片中属于哪一种类别的动物,不能判断这张图片中属于哪几种类别的动物。soft...原创 2019-03-18 17:46:32 · 922 阅读 · 0 评论 -
机器学习笔记03_决策树
预测过程: 当构建好一个判断模型后,新来一个用户(样本)后,可以根据构建好的模型直接进行判断,过程如上图,比如新用户特性为:无房产、单身、年收入55K,那么根据判断得出该用户无法进行债务偿还。这种决策对于借贷业务有比较好的指导意义。 训练过程: 先搞清楚几个概念。 1. 数学期望: 离散型随机变量的一切可能的取值xi与对应的概率P(xi)之积的和称为该离散型随机变量...原创 2019-03-17 11:03:43 · 364 阅读 · 0 评论 -
机器学习笔记04_集成学习:随机森林、GBDT
集成学习: 常见的集成学习思想有: • Bagging (并联) 代表:随机森林 • Boosting(串联) 代表:Adaboost —— 根据正确率修改样本权重 GBDT—— 根据残差(梯度)修改样本标签值 • Stacking Bagging 并联训练:-------------------------------------...原创 2019-03-22 19:24:00 · 419 阅读 · 0 评论 -
机器学习算法05之 —— XGBoost
训练: 根据OBJ(Gain,根据每个叶子结点损失函数的一阶二阶导数计算)损失函数,使用贪心算法,从很多种结构的树中选出最优的树作为当前迭代层的树,一层一层选出每一层的最优树,相加。主要工作有两个:1.确定每层树的最优结构 2.确定每层树的最优叶子节点的分值。 预测: 将样本 i 放到树 j 中,找到样本 i 在树 j 中被分到的叶子节点的预测值score(根据每个叶子结点损失函数的一...原创 2019-04-14 13:19:48 · 611 阅读 · 1 评论