![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
csdn_lzw
这个人很菜什么也没写
展开
-
Bagging 与随机森林
一.BaggingBagging:并行式的集成学习 思想:自助采样(Bootstrap sampling):给定m个样本集,有放回的随机采样m次,得到含m个样本的采样集。基于每个采样集训练出一个基学习器,再将这些学习器进行结合。 分类:简单投票 回归:简单平均bagging 的复杂度与基学习器的复杂度同阶。 对于一个样本,它在某一次含m个样本的训练集的随机采样中,每次被采集到的概...原创 2018-03-17 21:33:26 · 349 阅读 · 0 评论 -
空间任一点到超平面的距离公式的推导
转载自: https://blog.csdn.net/wszzzx/article/details/75006212转载 2018-05-20 10:20:15 · 1322 阅读 · 0 评论 -
ROC与AUC
一、什么是AUCAUC (Area Under curve)= ROC曲线下的面积 ROC曲线 模型对测试样本产生一个实值或概率预测。将样本进行排序“最可能”是正样本的排在最前面,最不可能是正例的排在最后面。按此顺序逐个把样本作为正例进行预测。横坐标是假正率,纵坐标是真正率。 二、AUC的意义参考文献:https://www.zhihu.com/question/398...转载 2018-05-04 15:42:46 · 393 阅读 · 0 评论 -
SVM中惩罚参数C的理解
参考文献:https://www.zhihu.com/question/40217487?sort=created C理解为调节优化方向中两个指标(间隔大小,分类准确度)偏好的权重 soft-margin SVM针对hard-margin SVM容易出现的过度拟合问题,适当放宽了margin的大小,容忍一些分类错误(violation),把这些样本当做噪声处理,本质上是间隔大小和噪声容忍度的一...转载 2018-05-03 19:57:57 · 38923 阅读 · 2 评论 -
集成学习-stacking
参考文献:https://blog.csdn.net/Mr_tyting/article/details/72957853 stacking具体的算法流程 以上图为例,我们现在有训练集train_x,train_y,测试集test ① 我们首先选择一种模型比如随机森林rf。(未经训练) ②这里假设把训练集均分成5份,把其中四份作为小的训练集s_train_x,s_train_y另外一份...转载 2018-05-03 16:26:41 · 361 阅读 · 0 评论 -
集成学习相关
集成学习为什么用弱分类器 为什么比赛中RF和gbdt效果好 https://www.zhihu.com/question/51818176 LR是弱分类器吗 Adaboost 为什么不容易过拟合 RF为什么不容易过拟合 gbdt 和RF是怎么防止过拟合 随机森林的树为什么可以不用剪枝...原创 2018-05-03 16:07:31 · 114 阅读 · 0 评论 -
SVM核函数的选取
参考文献:https://blog.csdn.net/batuwuhanpei/article/details/52354822 因此,在选用核函数的时候,如果我们对我们的数据有一定的先验知识,就利用先验来选择符合数据分布的核函数;如果不知道的话,通常使用交叉验证的方法,来试用不同的核函数,误差最下的即为效果最好的核函数,或者也可以将多个核函数结合起来,形成混合核函数。在吴恩达的课上,也曾经...转载 2018-05-02 20:59:55 · 1500 阅读 · 0 评论 -
SVM、LR如何做多分类
一、普适多分类学习参考文献:西瓜书p63 二、LR做多分类先回顾基本的二项逻辑回归 https://blog.csdn.net/csdn_lzw/article/details/79594958 逻辑回归通过比较两个条件概率值的大小,将实例分到概率值大的那一类。多项逻辑回归参考文献 统计学习方法p80 多项逻辑回归又称softmax回归 参考...转载 2018-05-02 19:21:19 · 4450 阅读 · 0 评论 -
L1、L2正则化
一、什么是L1、L2正则化(Regularization)参考文献:https://blog.csdn.net/jinping_shi/article/details/52433975 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1-norm和ℓ2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数。L1正则化和L2正则化可以...转载 2018-05-02 16:28:54 · 1245 阅读 · 0 评论 -
随机深林-特征重要性计算方式
特征重要性一个数据集中往往有成百上前个特征,如何在其中选择比结果影响最大的那几个特征。 这里我们要介绍的是用随机森林来对进行特征筛选。 用随机森林进行特征重要性评估的思想其实很简单,说白了就是看看每个特征在随机森林中的每颗树上做了多大的贡献,然后取个平均值,最后比一比特征之间的贡献大小。 好了,那么这个贡献是怎么一个说法呢? 通常可以用基尼指数(Gini index)或者袋外数据(OO...原创 2018-05-01 21:14:10 · 5690 阅读 · 1 评论 -
不均衡数据处理方法
转载自:https://blog.csdn.net/heyongluoyao8/article/details/49408131 可参考的文献: http://baogege.info/2015/11/16/learning-from-imbalanced-data/ https://www.zhihu.com/question/30492527?rf=36514847类别不平衡问题...转载 2018-05-01 20:25:00 · 901 阅读 · 0 评论 -
标准化、归一化
一、标准化与归一化数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。 在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。 其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。二、标准化方法及适用场景最常见的有这两种:1. Min-max 标准化...转载 2018-05-01 17:36:50 · 2795 阅读 · 0 评论 -
PageRank
一、算法来源PageRank是对网站进行排名(节点排序问题)的一种算法。 Google的创始人拉里·佩奇和谢尔盖·布林于1998年在斯坦福大学发明了这项技术。 核心思想:认为万维网中一个页面的重要性取决于指向它的其他页面的数量和质量。 1. 如果一个网页被很多其他网页链接到的话说明这个网页比较重要,也就是PageRank值会相对较高 2. 如果一个PageRank值很高的网页链接...原创 2018-03-28 20:59:45 · 4096 阅读 · 0 评论 -
简版Word2vec的理解
一. 预备知识1.1 哈夫曼树 (最优二叉树)哈夫曼树 :带权路径长度之和(WPL)最小的二叉树 。 WPL唯一,但哈夫曼树不唯一,左右子树可以交换。 权值越大的节点离根节点越近。 词频越大的词离根节点越近。 构造过程中,每两个节点都要进行一次合并。 因此,若叶子节点的个数为n,则构造的哈夫曼树中新增节点的个数为n-1。哈夫曼编码:即满足前缀编码的条件,又能保证报文编...原创 2018-03-26 17:17:06 · 994 阅读 · 0 评论 -
神经网络
CSDN这几天坏了ヽ(`Д´)ノ︵ ┻━┻ ┻━┻ 一. 神经元模型神经网络中最基本的成分:神经元模型 神经元模型: 线性模型+激活函数 线性模型+符号函数 = 感知机 线性模型+sigmoid函数 = 逻辑回归二 . 多层前馈神经网络定义: 每层神经元与下一层神经元全互连,神经元之间不存在同层连接,也不存在跨层连接。假设第l−1l−1l−1层共有mmm个神...原创 2018-03-24 10:16:31 · 301 阅读 · 0 评论 -
集成学习
集成学习(ensemble learning)定义:通过构建并结合多个学习器来完成学习任务。 要获得好的集成,个体学习器应该“好而不同” 即个体学习器要有一定的准确性,并且要有多样性,即学习器间具有差异。 集成学习的分类:Boosting,Bagging Boosting : 个体学习器存在强的依赖关系,必须串行生成的序列化方法 ,代表算法 AdaBoost ; Bagging : ...原创 2018-03-13 20:51:54 · 318 阅读 · 0 评论 -
梯度下降
1. 梯度下降(Gradient Descent)在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降是最常采用的方法之一 对多元函数的各个分量求偏导数,把求得的各个分量的偏导数以向量的形式写出来,就是梯度。 例: 二元函数z=f(x,y)z=f(x,y)z=f(x,y) ∇f(x,y)=(∂f∂x,∂f∂x)∇f(x,y)=(∂f∂x,∂f∂x) \nabla f(x,y) = ...原创 2018-03-19 17:08:54 · 206 阅读 · 0 评论 -
神经网络 dropout
基本的工作机制 https://blog.csdn.net/qq_35497808/article/details/76032627神经网络Dropout层中为什么dropout后还需要进行rescale? https://www.zhihu.com/question/61751133/answer/190722593为什么能防止过拟合 https://zhuanlan.zhihu....原创 2018-09-13 16:17:05 · 584 阅读 · 0 评论