- 博客(6)
- 收藏
- 关注
RSS订阅原创 LightGBM简介与代码实现
LightGBM简介1.基于直方图的决策树算法基本思路：首先确定对于每一个特征需要多少个箱子(bin)并为每一个箱子分配一个整数；然后将浮点数的范围均分成若干区间，区间个数与箱子个数相等，将属于该箱子的样本数据更新为箱子的值；最后用直方图（bins）表示。2.直方图做差加速一个叶子的直方图可以由他的父亲节点的直方图与它兄弟的直方图做差得到，速度提升了一倍。通常构造直方图时，需要遍历该叶子上的所有数据，但直方图做差仅需遍历直方图的k个桶。在实际构建树的过程中，LightGBM还可以先计算直方图小的
2021-05-27 20:20:35
1179
原创 深度学习的四种激活函数
首先四种激活函数分别为：（1）Sigmoid函数（2）Tahn函数（3）ReLu函数（4）SoftMax函数1.Sigmoid函数（该函数是将取值为（-∞，+∞）的数映射到（0，1）之间）优点：在特征相差比较复杂或是相差不是特别打的效果比较好；缺点：当z值非常大或着非常小时，通过上图我们可以看到，sigmoid函数的导数将接近0.着会导致权重W的梯度将接近0，使得梯度更新十分缓慢，即梯度消失；sigmoid函数可用在网络最后一层，作为输出层进行二分类，尽量不要使用在隐藏层。代码如下：i
2021-05-26 16:30:46
1412
原创 GBDT与XGBoost算法
GBDT梯度提升迭代决策树是一个集成模型，基分类器采用CART回归树，GBDT是通过采用加法模型，以及不断减少训练过程产生的残差来达到将数据分类或者回归的算法。直观理解：每一轮预测和实际值有残差，下一轮根据残差再进行预测，最后将所有预测相加，得出结果。GBDT通过多轮迭代，每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。通过例子直观理解：设三个人的年龄分别为5岁，6岁，7岁，则三人的平均年龄为6岁，所以用6岁这个常量来预测三人的年龄即[6 , 6 , 6]。每个人的年龄的残
2021-05-20 09:22:51
192
原创 机器学习--SVM支持向量机
支持向量机的直观理解支持向量机是监督学习算法的一种，有时也被称为大间距分类器。法广泛的应用于工业界和学术界。接下来将用一个例子来说明：如图，对于这样一个数据集，其中既有正样本，也有负样本，可以看出这个数据集是线性可分的，也就是，存在一条直线把正负样本分开。当然，这样的直线有很多条 ，比如：这些直线都可以将正负样本分开，但是绿线和粉线多多少少看起来不是很自然，所以支持向量机的作用就是在这些直线中选择这个黑色的决策边界。之所以选择黑线，是因为其决策界和训练样本之间有更大的最短距离，如图：但是，有
2021-05-11 18:17:51
242
原创 机器学习--房价预测问题
1.房价预测问题分析房价预测是一种最常见的监督学习和回归问题；在这个问题中，会给出一系列房子的数据，比如给定数据集中每个样本的正确价格，也就是它们的实际售价，然后运用学习算法，算出更多的正确答案。2.代码详解数据获取与处理。open(“house_prices.txt”, ‘r’) 以只读的方式打开文件。split()：拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表。虽然该数据集比较简单，但可以看到其中的数字都相当大。保留它原始形式确实可能是有必要的，但一般而言，我们应该
2021-05-02 17:47:24
2151
原创 使用ID3算法实现决策树
决策树基本介绍：决策树通过把数据样本分配到某个叶子结点来确定数据集中样本所属的分类。决策树由决策结点，分支和叶子结点组成。决策结点表示在样本的一个属性上进行的划分；分支表示对于决策结点进行划分的输出；叶子节点代表经过分支到达的类。从决策树根据节点出发，自顶向下移动，在每个决策结点都会进行次划分，通过划分的结果将样本进行分类，导致不同的分支，最后到达个 叶子结点，这个过程就是利用决策树进行分类的过程。ID3算法原理ID3算法是在每个结点处选取能获得最高信息增益的分支属性进行分
2021-04-22 20:47:50
3369
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人