机器学习
文章平均质量分 90
yanhx1204
这个作者很懒,什么都没留下…
展开
-
Batch Normalization 学习笔记
原文地址:http://blog.csdn.net/hjimce/article/details/50866313作者:hjimce一、背景意义本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,...转载 2018-03-13 17:01:14 · 133 阅读 · 0 评论 -
TensorFlow RNN MNIST字符识别Demo快速了解TF RNN核心框架
(2016-09-03 08:35:36)转载▼ MNIST 字符数据库每个字符(0-9) 对应一张28x28的一通道图片,可以将图片的每一行(或者每一列)当作特征,共28行。则可以通过输入大小为28,时间长度为28的RNN(lstm)对字符建模。对于同一个字符,比如0,其行与行之间的动态变化可以很好地被RNN表示,所有这些连续行的变化表征了某个字符的特定模式。因此可以使用RNN来进行字符识别。...转载 2018-03-22 14:42:02 · 310 阅读 · 0 评论 -
随机森林(Random Forest)
第九篇:随机森林(Random Forest)阅读目录前言框架流程性能制约重要参数构建随机森林模型使用随机森林进行变量筛选使用随机森林绘制MDS二维图小结回到顶部前言 随机森林非常像《机器学习实践》里面提到过的那个AdaBoost算法,但区别在于它没有迭代,还有就是森林里的树长度不限制。 因为它是没有迭代过程的,不像AdaBoost那样需要迭代,不断更新每个样本以及子分类器...转载 2018-03-05 17:02:26 · 679 阅读 · 0 评论 -
结合Scikit-learn介绍几种常用的特征选择方法
结合Scikit-learn介绍几种常用的特征选择方法作者:Edwin Jarvis特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点、底层结构,这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能:减少特征数量、降维,使模型泛化能力更强,减少过拟合增强对特征和特征值之间的理解拿到数据集,一个特征选择方法,往往很难同时完...转载 2018-03-05 16:59:01 · 369 阅读 · 0 评论 -
Sklearn-GridSearchCV网格搜索
GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数。但是这个方法适合于小数据集,一旦数据的量级上去了,很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法:拿当前对模型影响最大的参数调优,直到最优化;再拿下一个影响最大的参数调优,如此下去,直到所有的参数调整完毕。这个方法的缺点就是可能会...转载 2018-03-09 15:54:39 · 8814 阅读 · 0 评论 -
scikit-learn Adaboost类库使用小结
转自http://www.cnblogs.com/pinard/p/6136914.html在集成学习之Adaboost算法原理小结中,我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结,重点对调参的注意事项做一个总结。1. Adaboost类库概述 scikit-learn中Adaboost类库比较直接,就是...转载 2018-03-09 14:40:53 · 369 阅读 · 0 评论 -
AdaBoost算法详解及Python实现--scikit
一、简单介绍Adaboost是一种常见的继承学习方法,它属于boosting系列算法中的,也就是说每个学习器之间存在强依赖关系。Adaboost既可以用于分类也可以用于回归。本文对Adaboost算法做一个简单的介绍,文末并给出python的具体实现(主要是应用函数库进行实现)。对于集成学习算法来说有两个问题需要解决:一是在每一轮的训练中是如何改变训练数据的权重或概率分布;二是如何将弱分类器组合成...转载 2018-03-09 14:40:07 · 3624 阅读 · 0 评论 -
使用tensorflow的lstm网络进行时间序列预测
标签: lstm tensorflow 时间序列 机器学习2017年12月20日 14:25:283370人阅读 评论(1) 收藏 举报 分类:机器学习(13) TensorFlow(2) 版权声明:本文为博主原创文章,未经博主允许不得转载。 http://blog.csdn.net/Flying_sfeng/article/details/78852816这篇文章将讲解如何使用lstm进行时间...转载 2018-03-14 20:15:47 · 5645 阅读 · 2 评论 -
简单明了的LSTM/GRU应用实例(Tensorflow版)
标签: Tensorflow LSTM GRU RNN 深度学习2017年10月19日 04:03:22 1982人阅读 评论(1) 收藏 举报 分类:深度学习与TensorFlow(11) 版权声明:本文为博主原创文章,未经博主允许不得转载。 //blog.csdn.net/baimafujinji/article/details/78279744本文用一个简单的分类(Classificati...转载 2018-03-14 20:14:32 · 4552 阅读 · 0 评论 -
tensorflow batch normalization
2016年11月23日 13:14:31标签:batch /norm /tensorflowtensorflow batch normalizationdef batch_norm(inputs, is_training,is_conv_out=True,decay = 0.999): scale = tf.Variable(tf.ones([inputs.get_shape()[-1...转载 2018-03-13 19:26:32 · 174 阅读 · 0 评论 -
卷积神经网络CNN原理以及TensorFlow实现
2017年04月27日 23:10:10标签:机器学习 /TensorFlow /算法 /cnn /神经网络15055 在知乎上看到一段介绍卷积神经网络的文章,感觉讲的特别直观明了,我整理了一下。首先介绍原理部分。 通过一个图像分类问题介绍卷积神经网络是如何工作的。下面是卷积神经网络判断一个图片是否包含“儿童”的过程,包括四个步骤:图像输入(InputImage)→卷积(C...转载 2018-03-14 09:56:47 · 304 阅读 · 0 评论 -
GBDT面
1.简介 gbdt全称梯度下降树,在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一,在前几年深度学习还没有大行其道之前,gbdt在各种竞赛是大放异彩。原因大概有几个,一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了,导致在面试的时候大家也非常喜欢问这个算法。 gbdt的面试考核点,大致有下面几个:gbdt 的算法的流程?gbdt 如何选...转载 2018-03-20 14:12:28 · 269 阅读 · 0 评论 -
ubuntu16.04 install 安装 scikit-learn
在ubuntu系统中安装python3对应的scikit-learn库 安装scikit-learn库(环境:python3 、ubuntu14.04) sudo apt-get install build-essential python3-dev python3-setuptools python3-numpy python3-scipy python3-pip libatlas...原创 2018-11-23 16:12:11 · 1303 阅读 · 0 评论 -
YOLO学习】召回率(Recall),精确率(Precision),平均正确率(Average_precision(AP) ),交除并(Intersection-over-Union(IoU))
转自 https://blog.csdn.net/hysteric314/article/details/54093734摘要在训练YOLO v2的过程中,系统会显示出一些评价训练效果的值,如Recall,IoU等等。为了怕以后忘了,现在把自己对这几种度量方式的理解记录一下。 这一文章首先假设一个测试集,然后围绕这一测试集来介绍这几种度量方式的计算方法。大雁与飞机假设现在有这样一个测试集,测试集中...转载 2018-07-12 15:46:34 · 4776 阅读 · 1 评论 -
FFM代码实现
上一篇我们讲了《FFM原理及公式推导》,现在来编码实现一下。把写代码所需要所有公式都列出来,各符号与原文《Field-aware Factorization Machines for CTR Prediction》中的保持一致。符号约定:nn:特征的维数mm:域的个数kk:隐向量的维度jj:在特征中的下标ff:在域中的下标dd:在隐向量中的下标ll:样本的总数粗体字母表示向量或矩阵特征组合最基本的...转载 2018-03-27 20:04:12 · 2264 阅读 · 0 评论 -
深入理解FFM原理与实践
FM和FFM模型是最近几年提出的模型,凭借其在数据量比较大并且特征稀疏的情况下,仍然能够得到优秀的性能和效果的特性,屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中,探索并使用了FM和FFM模型进行CTR和CVR预估,并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。前言在计算广告领域,点击率CTR(click-th...转载 2018-03-27 12:40:13 · 7268 阅读 · 0 评论 -
FFM模型在点击率预估中的应用实践
标签: 机器学习 python FFM模型应用2017年12月07日 11:53:231184人阅读 评论(0) 收藏 举报 分类:机器学习(13) 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Flying_sfeng/article/details/78739473最近任务重,时间紧,跳票了两个月,真是抱歉。近期参加了kesci平台上的云脑机...转载 2018-03-27 12:29:37 · 509 阅读 · 2 评论 -
Tensorflow 学习速率的设置|学习速率的指数下降
import tensorflow as tf from numpy.random import RandomState w1 = tf.Variable(tf.truncated_normal([2,3],seed=1)) w2 = tf.Variable(tf.truncated_normal([3,1],seed=1)) x = tf.placeholder(dtype=tf.f...转载 2018-03-21 17:36:39 · 1005 阅读 · 0 评论 -
分类器评价 准确率 精确率 召回率 auc
在信息检索领域,精确率和召回率又被称为查准率和查全率准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%精确率(precision) = TP/(TP+FP) = 80%召回率(recall) = TP/(TP+FN) = 2/3机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而...转载 2018-04-08 10:55:44 · 1371 阅读 · 0 评论 -
深度学习训练的小技巧,调参经验。总结与记录
经常会被问到你用深度学习训练模型时怎么样改善你的结果呢?然后每次都懵逼了,一是自己懂的不多,二是实验的不多,三是记性不行忘记了。所以写这篇博客,记录下别人以及自己的一些经验。Ilya Sutskever(Hinton的学生)讲述了有关深度学习的见解及实用建议:获取数据:确保要有高质量的输入/输出数据集,这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很难成功的。预处理:将数据进行...转载 2018-03-20 15:22:07 · 3097 阅读 · 0 评论 -
SVM之SMO
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51227754 CSDN−勿在浮沙筑高台CSDN−勿在浮沙筑高台本文力求简化SMO的算法思想,毕竟自己理解有限,无奈还是要拿一堆公式推来推去,但是静下心看完本篇并随手推导,你会迎刃而解的。推荐参看SMO原文中的伪代码。1.SMO概念上一篇博客已经详细介绍了SVM原理,为了方便求解...转载 2018-03-20 14:36:31 · 242 阅读 · 0 评论 -
tensorflow笔记:多层LSTM代码分析
标签(空格分隔): tensorflow笔记tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实...转载 2018-03-14 19:58:16 · 334 阅读 · 0 评论 -
LSTM与GRU的一些比较--论文笔记
reference:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling1.概要:传统的RNN在训练long-term dependencies 的时候会遇到很多困难,最常见的便是vanish gradient problen。期间有很多种解决这个问题的方法被发表。大致可以分为两类:一类是以新的方法...转载 2018-03-14 19:49:53 · 1884 阅读 · 0 评论 -
深度学习笔记(五):LSTM
深度学习笔记(一):logistic分类 深度学习笔记(二):简单神经网络,后向传播算法及实现 深度学习笔记(三):激活函数和损失函数 深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam) 深度学习笔记(四):循环神经网络的概念,结构和代码注释 深度学习笔记(五):LSTM 深度学习笔记(六):Encoder-Decoder模型和Attentio...转载 2018-03-14 19:46:08 · 418 阅读 · 0 评论 -
深度信念网络
1.初识深度信念网络 深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。 DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machin...转载 2018-03-07 14:14:44 · 523 阅读 · 0 评论 -
梯度提升树(GBDT)原理小结
在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting ), GBR...转载 2018-03-07 12:55:04 · 235 阅读 · 0 评论 -
LSTM模型与前向反向传播算法
在循环神经网络(RNN)模型与前向反向传播算法中,我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题,因此很难处理长序列的数据,大牛们对RNN做了改进,得到了RNN的特例LSTM(Long Short-Term Memory),它可以避免常规RNN的梯度消失,因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。1. 从RNN到LSTM 在RNN模型里,我们讲到了RNN...转载 2018-03-07 12:42:15 · 1184 阅读 · 0 评论 -
高斯混合模型(GMM)及其EM算法的理解
一个例子高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同一类分布但参数不一样,或者是不同类型的分布,比如正态分布和伯努利分布)。如图1,图中的点在我们看来明显分成两个聚类。这两个聚类中的点分别通过两个不同的正态分布随机生成而来。但是如果没有GMM,那么只能用...转载 2018-03-07 11:21:05 · 558 阅读 · 0 评论 -
随机梯度下降,批量梯度下降,牛顿法,拟牛顿法
转载地址:http://blog.csdn.net/lilyth_lilyth/article/details/8973972转载地址:http://blog.csdn.net/z5718265/article/details/51599175梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写...转载 2018-02-13 15:32:25 · 411 阅读 · 0 评论 -
L-BFGS 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。http://blog.csdn.net/itplus/article/details/21897715...转载 2018-02-13 14:55:33 · 484 阅读 · 0 评论 -
牛顿法
牛顿法最初由艾萨克·牛顿于1736年在 Method of Fluxions 中公开提出。而事实上方法此时已经由Joseph Raphson于1690年在Analysis Aequationum中提出,与牛顿法相关的章节《流数法》在更早的1671年已经完成了。牛顿法(英语:Newton's method)又称为牛顿-拉弗森方法(英语:Newton-Raphson method),它是一种在实数域和...原创 2018-02-13 10:33:44 · 1765 阅读 · 0 评论 -
梯度下降(Gradient Descent)小结
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr...转载 2018-02-12 16:47:26 · 176 阅读 · 0 评论 -
梯度消失(vanishing gradient)与梯度爆炸(exploding gradient)问题
(1)梯度不稳定问题:什么是梯度不稳定问题:深度神经网络中的梯度不稳定性,前面层中的梯度或会消失,或会爆炸。原因:前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时,就出现了内在本质上的不稳定场景,如梯度消失和梯度爆炸。(2)梯度消失(vanishing gradient problem):原因:例如三个隐层、单神经元网络:则可以得到:然而,sigmoid方程的导数曲线为:可以看到,s...转载 2018-02-26 16:13:50 · 753 阅读 · 0 评论 -
BP反向传播算法
作者:知乎用户链接:https://www.zhihu.com/question/24827633/answer/91489990来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。一般都是用链式法则解释比如如下的神经网络<img src="https://pic1.zhimg.com/50/9db015cf20d7f569...转载 2018-02-26 15:56:02 · 290 阅读 · 0 评论 -
代价函数--交叉熵,以及熵、相对熵之间的关系
交叉熵(Cross-Entropy)交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量?假设X是一个离散型随机变量,其取值集合为,概率分布函数为p(x)=Pr(X=x),x∈,我们定义事件X=x0的信息量为: I(x0)=−log(p(x0)),可以理解为,一个事件发生的概率越大,则它所携带的信息量就越小,而当p(x0)=1时,熵将等于0,也就是...转载 2018-02-26 10:08:06 · 485 阅读 · 0 评论 -
神经网络过拟合、动量注意点
1. 神经网络(1)为什么要用神经网络?对于非线性分类问题,如果用多元线性回归进行分类,需要构造许多高次项,导致特征特多学习参数过多,从而复杂度太高。(2)常用的激活函数及其优缺点阶跃函数sgn(x)(理想,但不连续,不光滑);Sigmoid函数(下图左):优点:能够把输入的连续实值压缩到0到1之间;缺点:(1)容易饱和,当输入非常大或非常小的时候,神经元的梯度就接近0了,这使得在反向传播算法...转载 2018-03-07 14:37:10 · 3554 阅读 · 0 评论 -
深度学习解决局部极值和梯度消失问题方法简析
多层感知机解决了之前无法模拟异或逻辑的缺陷,同时更多的层数也让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。多层感知机给我们带来的启示是,神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经网络层数的加深,优化函数越来越容易陷入局部最优解(即过拟合,在训练样本上有很好的拟...转载 2018-03-07 14:39:06 · 677 阅读 · 0 评论 -
深度学习-深度信念(置信)网络(DBN)-从原理到实现(DeepLearnToolBox)
深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于非监督学习,类似于一个自编码机;也可以用于监督学习,作为分类器来使用。从非监督学习来讲,其目的是尽可能地保留原始特征的特点,同时降低特征的维度。从监督学习来讲,其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习,DBN的本质都是Feature Learning的过程,即如何得到更好的特征表达。作为神经...转载 2018-03-14 19:44:05 · 8798 阅读 · 1 评论 -
[TensorFlow]生成对抗网络(GAN)介绍与实践
主旨本文简要介绍了生成对抗网络(GAN)的原理,接下来通过tensorflow开发程序实现生成对抗网络(GAN),并且通过实现的GAN完成对等差数列的生成和识别。通过对设计思路和实现方案的介绍,本文可以辅助读者理解GAN的工作原理,并掌握实现方法。有了这样的基础,在面对工作中实际问题时可以将GAN纳入考虑,选择最合适的算法。代码和运行环境代码位置: wangyaobupt/GANTensorFlo...转载 2018-03-14 19:41:43 · 829 阅读 · 0 评论 -
深度学习解决局部极值和梯度消失问题方法简析
多层感知机解决了之前无法模拟异或逻辑的缺陷,同时更多的层数也让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。多层感知机给我们带来的启示是,神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经网络层数的加深,优化函数越来越容易陷入局部最优解(即过拟合,在训练样本上有很好的拟...转载 2018-02-28 14:26:54 · 1074 阅读 · 0 评论