- 博客(9)
- 收藏
- 关注
RSS订阅原创 个人对GBDT的理解
废话不多说，首先DT即决策树，GBDT使用的树是回归树，生成方法见CART回归树。 GBDT是提升(boosting)方法的一种,但他不是Adaboost，我们常使用Adaboost进行分类，建议不要将GBDT和Adaboost联系起来看。 看下提升树模型的原理，它是个加法模型： 其推导过程如下，使用前向分布算法： r就是残差，重点来了，GBDT的核心就在于，每一棵树学的是之前所有...
2018-06-26 14:21:31
200
原创 机器学习之KNN总结
一.KNN模型介绍k临近算法：给定一个训练数据集，对于新输入的实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 在这个模型中，当训练数据集，距离度量，k值以及分类决策规则（如多数表决）确定后，对于任何一个新输入的实例，它所属的类唯一确定。二.kd树的构造该算法的主要问题是如何快速找到k个最邻近点，可以采用树形结构，即kd树：...
2018-06-23 20:44:27
216
原创 MYSQL存储过程
本文实例来自于易百教程一.存储过程的定义：存储过程是存储在数据库目录中的一段声明性SQL语句，优点有：通常存储过程有助于提高应用程序的性能存储过程有助于减少应用程序和数据库服务器之间的流量存储的程序对任何应用程序都是可重用的和透明的存储的程序是安全的二.存储过程入门：第一个存储过程 说明：DELIMITER 定好结束符为”//”, 然后最后又定义为”;”，//...
2018-06-23 18:46:09
12998
2
原创 机器学习之决策树总结
一.熵的相关知识1.熵，也称信息熵 是表示随机变量不确定性的度量，不确定性越大，熵越大，定义如下： 来理解一下，如果X的取值为固定某个值，这时不确定性最小，H(X)=-1*log1=0； 如果X服从均匀分布，这时不确定性最大，H(X)=log n, 所以H(X)的范围为 0<=H(X)<=log n 2.条件熵的定义： 3.信息增益： 表示得知特征X的信...
2018-06-19 21:10:58
198
原创 朴素贝叶斯分类
一.概率相关知识：1.先验概率：根据以往经验和分析得到的概率； 后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的 大小。 2.举个例子： 首先我想问一个问题,桌子上如果有一块肉喝一瓶醋,你如果吃了一块肉,然后你觉得是酸的,那你觉得肉里加了醋的概率有多大?你说:80%可能性加了醋.OK,你已经进行了一次后验概率的猜测.没错,就这么简单. ...
2018-06-19 16:04:39
255
1
原创 分类任务算法的性能度量
一.准确率 - accuracy这个好理解，就是分类正确的样本数占样本总数的比例，但在二分类且正反例不平衡的情况下，这个基本没有参考价值，举个栗子： 在测试集里，有100个sample，99个反例，只有1个正例。如果我的模型不分青红皂白对任意一个sample都预测是反例，那么我的模型的accuracy是 正确的个数／总个数 = 99/100 = 99%，你拿着这个accuracy高达99%的...
2018-06-15 17:02:54
1615
原创 支持向量机(SVM)总结
一.线性可分支持向量机1.定义：给定线性可分的训练集，求解出能够正确划分训练集并且几何间隔最大的分离超平面wx+b=0,对应的决策函数为f(x)=sign(wx+b) 2.函数间隔： 3.几何间隔： 二.目标函数的推出 三.推导过程求解： 四.软间隔与正则化：为了防止过拟合，对每个样本点引入一个松弛变量...
2018-06-13 22:50:32
245
原创 机器学习逻辑回归总结
一.逻辑回归的定义逻辑回归是一种广义的线性模型，用于二分类问题，其预测函数构h(x)造如下： Sigmoid函数，函数形式为： 二.构造损失函数：这里使用的是对数损失函数，它是基于最大似然估计推导的...
2018-06-12 15:29:50
338
原创 机器学习聚类知识总结
1. 聚类任务的标准定义：2. 聚类结果的性能...
2018-06-11 18:45:33
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人