![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
kingzone_2008
对于机器学习数据挖掘相关技术有浓厚兴趣
展开
-
tensorflow架构
TensorFlow又是好久没有写博客了,上班以来,感觉时间过得飞快,每天时间很紧,过得有点累,不知道自己的博客能坚持到何时,且行且珍惜。本片博文是参考文献[1]的阅读笔记,特此声明TensorFlow,以下简称TF,是Google去年发布的机器学习平台,发布以后由于其速度快,扩展性好,推广速度还是蛮快的。江湖上流传着Google的大战略,Android占领了移动端,TF占领神经网络提供AI服务,...转载 2018-05-25 11:49:16 · 797 阅读 · 0 评论 -
深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
前言(标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent...转载 2018-07-30 19:53:59 · 1741 阅读 · 0 评论 -
谈谈深度学习中的 Batch_Size
谈谈深度学习中的 Batch_SizeBatch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。首先,为什么需要有 Batch_Size 这个参数?Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 ( Full Batch Learning )的形式,这样做至少有 2 个好处:其一,由全数据集确定的方向能够更好地代表样本总体,...转载 2018-07-30 20:01:06 · 254 阅读 · 0 评论 -
神经网络中隐层数和隐层节点数问题的讨论
神经网络中隐层数和隐层节点数问题的讨论一 隐层数 一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型,实际上就是一个线性或...转载 2018-07-30 20:24:45 · 68818 阅读 · 8 评论 -
神经网络结构设计指导原则
下面这个神经网络结构设计指导原则是Andrew NG在coursera的ML课程中提到的:输入层:神经元个数=feature维度 输出层:神经元个数=分类类别数 隐层: 默认只用一个隐层 如果用多个隐层,则每个隐层的神经元数目都一样 隐层神经元个数越多,分类效果越好,但计算量会增大 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...转载 2018-07-30 21:23:21 · 3737 阅读 · 0 评论 -
十、如何选择神经网络的超参数
本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记,因此在全文中对它们多次引用。初出茅庐,学艺不精,有不足之处还望大家不吝赐教。 在之前的部分,采用梯度下降或者随机梯度下降等方法优化神经网络时,其中许多的超参数都已经给定了某一个值,在这一节中将讨论如何选择神经网络的超参数。...转载 2018-07-30 21:46:36 · 13694 阅读 · 0 评论 -
keras参数调优
原文:https://machinelearningmastery.com/grid-search-hyperparameters-deep-learning-models-python-keras/本文主要想为大家介绍如何使用scikit-learn网格搜索功能,并给出一套代码实例。你可以将代码复制粘贴到自己的项目中,作为项目起始。下文所涉及的议题列表:如何在scikit-learn...转载 2018-07-30 21:59:26 · 4242 阅读 · 1 评论 -
NLP︱高级词向量表达(二)——FastText(简述、学习笔记)
FastText是Facebook开发的一款快速文本分类器,提供简单而高效的文本分类和表征学习的方法,不过这个项目其实是有两部分组成的,一部分是这篇文章介绍的 fastText 文本分类(paper:A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, Bag of Tricks for Efficient Text Classification(...转载 2018-08-05 11:11:28 · 2952 阅读 · 0 评论 -
【更新于12.29】深度学习论文汇总
本博客用于记录自己平时收集的一些不错的深度学习论文,近9成的文章都是引用量3位数以上的论文,剩下少部分来自个人喜好,本博客将伴随着我的研究生涯长期更新,如有错误或者推荐文章烦请私信。深度学习书籍和入门资源LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. [PDF](深度学习最权威...转载 2018-08-08 10:43:38 · 1202 阅读 · 3 评论 -
sklearn与Keras的verbose相关源码
GridSearchCV的verbose参数 grid_search.py813行838行555行if self.verbose > 0:if isinstance(parameter_iterable, Sized):n_candidates = len(parameter_iterable)print("Fitting {0} folds for...原创 2018-10-12 23:02:32 · 1026 阅读 · 0 评论 -
【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives
【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives2017年12月04日 17:44:15 cskywit 阅读数:1116更多个人分类: 机器学习版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cskywit/article/det...转载 2018-11-09 12:00:13 · 936 阅读 · 0 评论 -
炼丹术的终结——神经网络结构搜索之一
炼丹术的终结——神经网络结构搜索之一2018年04月10日 00:23:14 张雨石 阅读数:2820 标签: 强化学习深度学习网络结构搜索RLNAS 更多个人分类: 论文笔记版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xinzhangyanxiang/article/details/79875007深度学习在2010年燃起来以...转载 2018-11-07 12:15:13 · 369 阅读 · 0 评论 -
《Wide and Deep Learning for Recommender Systems》学习笔记
顾名思义,Google提出的这篇文章将Wide Model和Deep Model结合起来进行,思路非常值得学习。 1.Wide Model首先说一下Wide Model,就是上图中左边的那一部分,是一个简单的逻辑回归模型。这一部分比较简单,不多有一个新的思路就是交叉特征: 论文中一个比较形象的例子For binary features, a cross...转载 2018-07-26 18:34:53 · 295 阅读 · 0 评论 -
《Deep Neural Networks for YouTube Recommendations》学习笔记
Google出品,学习一下! 文章脉络清晰,主要包括六个部分:YouTube使用DNN的背景、整体推荐系统框架、候选集生成(candidate generation)、排序(ranking)、总结、感谢,其中候选集生成和排序是推荐系统框架的重要组成部分。 本文主要学习下整体推荐系统框架、候选集生成(candidate generation)、排序(ranking)这三个部分 ...转载 2018-07-26 18:31:10 · 836 阅读 · 1 评论 -
DNN论文分享 - Item2vec: Neural Item Embedding for Collaborative Filtering
本篇文章在 ICML2016 Machine Learning for Music Discovery Workshop前置点评: 这篇文章比较朴素,创新性不高,基本是参照了google的word2vec方法,应用到推荐场景的i2i相似度计算中,但实际效果看还有有提升的。主要做法是把item视为word,用户的行为序列视为一个集合,item间的共现为正样本,并按照item的频率分布进行负样本采...转载 2018-07-20 11:44:50 · 1124 阅读 · 0 评论 -
【博客存档】TensorFlow之深入理解AlexNet
【博客存档】TensorFlow之深入理解AlexNet想飞的石头夯实基础,埋头苦干 happy coding38 人赞了该文章前言前面看了一些Tensorflow的文档和一些比较有意思的项目,发现这里面水很深的,需要多花时间好好从头了解下,尤其是cv这块的东西,特别感兴趣,接下来一段时间会开始深入了解ImageNet比赛中中获得好成绩的那些模型: AlexNet、GoogLeNet、VGG(对就...转载 2018-05-23 18:29:10 · 975 阅读 · 0 评论 -
【博客存档】TensoFlow之深入理解GoogLeNet
【博客存档】TensoFlow之深入理解GoogLeNet想飞的石头夯实基础,埋头苦干 happy coding15 人赞了该文章前言GoogLeNet是ILSVRC 2014的冠军,主要是致敬经典的LeNet-5算法,主要是Google的team成员完成,paper见Going Deeper with Convolutions. 相关工作主要包括LeNet-5、 Gabor filters、Ne...转载 2018-05-23 18:31:13 · 286 阅读 · 0 评论 -
【博客存档】TensorFlow之深入理解VGG\Residual Network
【博客存档】TensorFlow之深入理解VGG\Residual Network想飞的石头夯实基础,埋头苦干 happy coding25 人赞了该文章前言这段时间到了新公司,工作上开始研究DeepLearning以及TensorFlow,挺忙了,前段时间看了VGG和deep residual的paper,一直没有时间写,今天准备好好把这两篇相关的paper重读下。VGGnetVGGnet是Ox...转载 2018-05-23 18:32:45 · 591 阅读 · 0 评论 -
『干货』深度强化学习与自适应在线学习的阿里实践
摘要: 1搜索算法研究与实践 1.1背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应,而淘宝的用户不仅数量巨大,其行为特点以及对商品的偏好也具有丰富性和多样性。因此,要让搜索引擎对不同特点的用户作出针对性的排序,并以此带动搜索引导的成交提升,是一个极具挑战性的问题。1搜索算法研究与实践1.1背景淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应,而淘宝的用户不仅数量巨大,其行为特点以及对商品的偏好也具...转载 2018-05-24 10:34:54 · 2359 阅读 · 0 评论 -
用深度学习(DNN)构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读
用深度学习(DNN)构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读清凇勇敢闯一闯292 人赞了该文章这篇论文 Deep Neural Networks for YouTube Recommendations 是google的YouTube团队在推荐系统上DNN方面的尝试,发表在16年9月的RecSys会议。虽然去年读过,一...转载 2018-05-24 10:36:58 · 5575 阅读 · 1 评论 -
Tensorflow中tf.Variable、tf.get_variable、tf.variable_scope、tf.name_scope
在tensorflow中提供了tf.get_variable函数来创建或者获取变量。当tf.get_variable用于创建变量时,则与tf.Variable的功能基本相同。相同点:通过两函数创建变量的过程基本一样,且tf.variable函数调用时提供的维度(shape)信息以及初始化方法(initializer)的参数和tf.Variable函数调用时提供的初始化过程中的参数基本类似。不同点:...原创 2018-05-24 18:58:10 · 298 阅读 · 0 评论 -
word2vec是如何得到词向量的?
作者:crystalajj链接:https://www.zhihu.com/question/44832436/answer/266068967来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。前言word2vec是如何得到词向量的?这个问题比较大。从头开始讲的话,首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英...转载 2018-05-30 17:24:07 · 7734 阅读 · 3 评论 -
一文综述用于推荐系统的所有深度学习方法
在信息泛滥的时代,如何快速高效地萃取出有价值信息成为了人们的当务之急,传统的推荐系统由此应运而生;而在诸多领域硕果累累的深度学习也被应用于推荐系统,为后者注入新的动力。机器之心编译的这篇论文,对于深度学习在推荐系统中的应用现状作了综述性调研,以期进一步推动推荐系统研究的进展;对于发现的新问题,文中也给出了潜在的解决方案。原文链接:https://arxiv.org/pdf/1707.07435.p...转载 2018-06-14 14:12:09 · 4886 阅读 · 0 评论 -
融合 MF 和 RNN 的电影推荐系统
摘要: 随着互联网技术飞速发展,在线数据越来越庞大,如何帮助用户从海量数据中找到所需信息是急需解决的问题。 个性化推荐系统能够有效的解决信息过载问题,推荐系统根据用户的历史偏好和约束为用户提供排序的个性化物品(item)推荐列表,更精准的推荐系统可以提升和改善用户体验。随着互联网技术飞速发展,在线数据越来越庞大,如何帮助用户从海量数据中找到所需信息是急需解决的问题。个性化推荐系统能够有效的解决信息...转载 2018-06-14 14:26:29 · 1614 阅读 · 1 评论 -
推荐系统遇上深度学习(二十一)--阶段性回顾
本系列已经写了二十篇了,但推荐系统的东西还有很多值得探索和学习的地方。不过在这之前,我们先静下心来,一起回顾下之前学习到的东西!由于是总结性质的文章,很多细节不会过多的涉及,有兴趣的同学可以点击文章中给出的链接进行学习。本文中涉及的大多数算法是计算广告中点击率预估用到的模型,当然也会涉及pair-wise的模型如贝叶斯个性排序以及list-wise的如京东的强化学习推荐模型。好了,废话...转载 2018-07-19 21:41:53 · 5313 阅读 · 0 评论 -
【翻译】Neural Collaborative Filtering--神经协同过滤
【说明】 本文翻译自新加坡国立大学何向南博士 et al.发布在《World Wide Web》(2017)上的一篇论文《Neural Collaborative Filtering》。本人英语水平一般+学术知识匮乏+语文水平拙劣,翻译权当进一步理解论文和提高专业英语水平,translate不到key point还请见谅。何博士的主页:http://www.comp.nus.edu.sg...转载 2018-07-19 21:48:46 · 15985 阅读 · 4 评论 -
从ctr预估问题看看f(x)设计—DNN篇
从ctr预估问题看看f(x)设计—DNN篇lambdaJihow to model anything已关注吴海波等 223 人赞了该文章上接机器学习模型设计五要素,这一篇接着讲模型结构设计从ctr预估问题看看f(x)设计—LR篇提到ctr预估的f(x)可以分 大规模离散LR,Trees Model,DNN&Embedding,以及Reinforcement-...转载 2018-11-13 11:20:38 · 1089 阅读 · 0 评论