机器学习
EricMachineLearning
这个作者很懒,什么都没留下…
展开
-
深度模型调参
注意调参看验证集。trainset loss通常能够一直降低,但validation set loss在经过一段降低期后会开始逐渐上升,此时模型开始在训练集上过拟合。着重关注val loss变化,val acc可能会突变,但loss衡量的整体目标。优先调参学习率。通过对模型预...转载 2018-04-16 21:17:28 · 1463 阅读 · 0 评论 -
准确率,召回率,F1 值、ROC,AUC、mse,mape 评价指标
在机器学习、数据挖掘领域,工业界往往会根据实际的业务场景拟定相应的业务指标。本文旨在一起学习比较经典的三大类评价指标,其中第一、二类主要用于分类场景、第三类主要用于回归预测场景,基本思路是从概念公式,到优缺点,再到具体应用(分类问题,本文以二分类为例)。1.准确率P、召回率R、F1 值定义 准确率(Prec...转载 2018-04-12 09:15:07 · 900 阅读 · 0 评论 -
Random Forest算法参数解释及调优
文章介绍了如何对随机森林模型进行参数调优原文来自:http://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/为什么要调整机器学习算法?一个月以前,我在kaggle上参加了一个名为TFI的比赛。 我第一次提交的结果在50%。 我不懈努力在特...转载 2018-04-22 20:59:18 · 12329 阅读 · 1 评论 -
ResNet-论文解读
摘要更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训练,这些网络比以前使用的网络更深。我们明确地将层变为学习关于层输入的残差函数,而不是学习未参考的函数。我们提供了全面的经验证据说明这些残差网络很容易优化,并可以显著增加深度来提高准确性。在ImageNet数据集上我们评估了深度...转载 2018-06-14 09:46:06 · 5277 阅读 · 0 评论 -
AlexNet
一、AlexNet网络简介AlexNet是较早期的一个卷积神经网络,由于其在ImageNet比赛中的出色表现(top1与top5的error rate分别为37.5%与17%),也掀起了学术界对深度学习的研究热潮,下面结合AlexNet的论文,对AlexNet进行简单的总结,有不足的地方,欢迎指正。二、alex...转载 2018-06-14 09:51:06 · 762 阅读 · 0 评论 -
SVM学习(五):松弛变量与惩罚因子
1.松弛变量 现在我们已经把一个本来线性不可分的文本分类问题,通过映射到高维空间而变成了线性可分的。就像下图这样: 圆形和方形的点各有成千上万个(毕竟,这就是我们训练集中文档的数量嘛,当然很...转载 2018-07-03 14:51:04 · 2886 阅读 · 0 评论 -
回归分析中的多重共线性问题
最近做回归分析,出现了相关系数与回归方程系数符号相反的问题,经过研究,确认是多重共线性问题并探索了解决方法。在此将多重共线性的相关知识整理如下。解释变量理论上的高度相关与观测值高度相关没有必然关系,有可能两个解释变量理论上高度相关,但观测值未必高度相关,反之亦然。所以多重共线性本质上是数据问题。造成多重共线...转载 2018-07-11 09:51:54 · 15192 阅读 · 0 评论 -
Logistic Regression--逻辑回归算法汇总
Logistic Regression–逻辑回归算法汇总** 转自别处 有很多与此类似的文章 也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂,后面的运行流程依据前面的得出的算子进行分类)&...转载 2018-07-12 17:17:51 · 1673 阅读 · 0 评论 -
结合Scikit-learn介绍几种常用的特征选择方法
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点、底层结构,这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能:减少特征数量、降维,使模型泛化能力更强,减少过拟合增强对特征和特征值之间的...转载 2018-07-31 15:59:15 · 531 阅读 · 0 评论 -
卷积神经网络_训练技巧
下面来介绍几种简单的训练技巧:1.首先说一下filter(感受野)的概念:感受野的大小即特征图中的某一单元是从原始输入图像中多大的一块区域中提取的特征;如上图,第一次卷积后得到的特征图中,每一个小单元的感受野大小为3*3,而第二次卷积后特征图中的每一个小单元对应的感受野大小为5*5,以此类推...转载 2018-04-11 09:54:49 · 530 阅读 · 0 评论 -
LSTM的推导与实现
最近在看CS224d,这里主要介绍LSTM(Long Short-Term Memory)的推导过程以及用Python进行简单的实现。LSTM是一种时间递归神经网络,是RNN的一个变种,非常适合处理和预测时间序列中间隔和延迟非常长的事件。假设我们去试着预测‘I grew up in France…...转载 2018-04-11 09:52:44 · 636 阅读 · 1 评论 -
随机森林理解
一、决策树决策树是机器学习最基本的模型,在不考虑其他复杂情况下,我们可以用一句话来描述决策树:如果得分大于等于60分,那么你及格了。这是一个最最简单的决策树的模型,我们把及格和没及格分别附上标签,及格(1),没及格(0),那么得到的决策树是这样的但是我们几乎不会让计算机做这么简单的工作,我们把情况变得复杂一点引用别的文章的一个...转载 2018-03-02 09:59:03 · 707 阅读 · 0 评论 -
随机森林原理介绍
二、构建完kd树之后,如今进行最近邻搜索呢?KD树的查找算法:在k-d树中进行数据的查找也是特征匹配的重要环节,其目的是检索在k-d树中与查询点距离最近的数据点。这里先以一个简单的实例来描述最邻近查找的基本思路。例一:查询的点(2.1,3.1)(较简单)。1、如图3所示,星号表示要查询的点(2.1,3.1)。通过二叉搜索...转载 2018-03-02 10:44:35 · 840 阅读 · 0 评论 -
集成学习模型总结
1、Bagging和Boosting的区别样本选择:Bagging算法是有放回的随机采样;Boosting算法是每一轮训练集不变样例权重:Bagging使用随机抽样,样例的权重;Boosting根据错误率不断的调整样例的权重值, 错误率越大则权重越大预测函数:Bagging所有...转载 2018-04-07 20:15:49 · 1485 阅读 · 0 评论 -
集成学习原理
集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成,回归问题集成,特征选取集成,异常点检测集成等等,可以说所有的机器学习领域都可以看到集成学习的身影。本文...转载 2018-04-07 20:27:13 · 238 阅读 · 0 评论 -
Bagging和Boosting的区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。1、Baggi...转载 2018-04-10 10:24:01 · 204 阅读 · 0 评论 -
卷积神经网络
来源,英文,中文翻译 卷积神经网络可以识别场景,也可以提供相关的标签,比如“桥梁”、“火车”和“网球”;最近,卷积神经网络也在一些自然语言处理任务(比如语句分类)上面展示了良好的效果。1、LeNet 架构 (1990s)LeNet 是推进深度学习领域发展的最早的卷积神经网络之...转载 2018-04-10 15:24:19 · 372 阅读 · 0 评论 -
深度学习开放数据集
原文:https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/?spm=a2c4e.11153959.blogcont576274.69.16b3...转载 2018-04-10 15:30:17 · 1737 阅读 · 0 评论 -
循环神经网络与LSTM
原文链接:https://blog.csdn.net/u010089444/article/details/552116531. 循环神经网络①基本结构在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力...转载 2018-04-11 09:45:53 · 307 阅读 · 0 评论 -
推荐系统中的召回率与准确率
转自:https://blog.csdn.net/shenxiaoming77/article/details/80746748 准确率,顾名思义,就是准确程度。通过正确数/总数得到。而正确数是什么,总数是什么呢?召回率,我们可以理解为找到的数目与总的需要我们找到的数目的比,...转载 2019-04-30 09:21:25 · 2097 阅读 · 1 评论