深度学习
达瓦里氏吨吨吨
待万事以俱诚。
展开
-
【转载】01梯度下降法和最速下降法的细微差别
1.原文地址: https://blog.csdn.net/Timingspace/article/details/50963564 2.记录原因: 为什么深度学习优化参数采用的是以梯度下降为具体实现的BP算法?转载 2018-09-16 14:18:33 · 371 阅读 · 0 评论 -
局部响应归一化(LRN)和批量归一化(BN)的关系
LRN出自AlexNet网络1.LRN2.局部响应归一化层简单来说, 归一化后有什么好处呢?原因在于神经网络学习过程本质就是为了学习数据分布,一旦训练数据与测试数据的分布不同,那么网络的泛化能力也大大降低;另外一方面,一旦每批训练数据的分布各不相同(batch 梯度下降),那么网络就要在每次迭代都去学习适应不同的分布,这样将会大大降低网络的训练速度,这也正是为什么我们需要对数据都要做一个归一...转载 2019-05-03 21:22:37 · 4226 阅读 · 0 评论 -
对ResNet核心思想的理解
参考文献:1.深度残差网络的理解2.残差网络ResNet网络原理及实现3.论文原文分析摘录:我们作这样一个假设:假设现有一个比较浅的网络(Shallow Net)已达到了饱和的准确率,这时在它后面再加上几个恒等映射层(Identity mapping,也即y=x,输出等于输入),这样就增加了网络的深度,并且起码误差不会增加,也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等...原创 2019-05-04 14:52:23 · 4079 阅读 · 2 评论 -
对于1*1的卷积核作用的理解
参考文献1.【深度学习】11的卷积核到底有什么作用2.卷积神经网络中用11 卷积有什么作用或者好处呢?3.卷积神经网络中的filter是怎么工作的作用:实现跨通道的交互和信息整合进行卷积核通道数的降维和升维对于单通道feature map 用单核卷积即为乘以一个参数,而一般情况都是多核卷积多通道,实现多个feature map的线性组合可以实现与全连接层等价的效果。如在faste...转载 2019-05-04 15:22:28 · 1589 阅读 · 0 评论 -
【百面】损失函数和优化算法笔记
参考文献1.《百面机器学习》2.3.机器学习算法=模型表征+模型评估+优化算法【1】模型表征:各种机器学习模型【2】模型评估:各种损失函数;【3】优化算法:各种优化算法;优化算法所做的事情就是在模型表征空间中找到模型评估指标最好的模型。问题背景(矛盾):传统优化理论:基于全量数据、凸优化;实际场景:大规模、高度非凸的优化问题;一.损失函数(7个)1.1针对二分类问...原创 2019-05-21 23:00:49 · 1245 阅读 · 0 评论 -
关于LSTM的核心点理解
参考文献1.深度学习实战教程(五):循环神经网络2.深度学习实战教程(六):长短时记忆网络(LSTM)3.LSTM神经网络输入输出究竟是怎样的?4.5.《神经网络与深度学习》6.一、LSTM的提出原因(针对RNN的长期依赖问题)循环神经网络(RNN)在学习过程中的主要问题是长期依赖问题。具体来说就是:虽然简单循环网络理论上可以建立任意长时间间隔的状态之间的依赖关系,但是由于梯...原创 2019-06-13 14:14:58 · 4476 阅读 · 1 评论 -
关于RBM、DBN和相关问题
参考文献1.(深度学习 机器学习)栈式自动编码器与深度信念网络2.受限玻尔兹曼机(RBM)原理总结3.受限玻尔兹曼机(RBM)学习笔记(一)预备知识4.对比散度算法(CD算法)5.受限玻尔兹曼机(RBM)+对比散度算法(CD-k)6.B站的视频一、深度信念网络1.1玻尔兹曼机玻尔兹曼机可以看做一个随机动力系统,其每一个变量的状态都以一定的概率受到其他变量的影响,这一模型可以用概...原创 2019-06-09 23:40:04 · 2922 阅读 · 0 评论 -
关于RNN的核心点理解
参考文献1.非常棒的知乎回答,直观明确2.RNN译文和理解,很详细3.深度学习实战教程(五):循环神经网络4.深度学习实战教程(六):长短时记忆网络(LSTM)5.用「动图」和「举例子」讲讲 RNN1.RNN说什么首先,对于RNN基本的内容,这里不做介绍,因为现有博客都介绍的很好,从起源到发展,很好理解。概括起来,相较于CNN中,各数据不相关的情况,RNN聚焦的是序列信息的处...原创 2019-06-11 23:29:00 · 2259 阅读 · 0 评论 -
关于自编码器的核心点理解
参考文献1.一文看懂AutoEncoder模型演进图谱2.《神经网络与深度学习》3.自编码器是什么?有什么用?这里有一份入门指南(附代码)4.自动编码器5.自编码器实现代码(可视化版本)一、稀疏编码1.生物学背景稀疏编码(Sparse Coding)也是一种受哺乳动物视觉系统中简单细胞感受野而启发的模型。外界刺激在视觉神经系统的表示具有很高的稀疏性。编码的稀疏性在一定程度上符合...原创 2019-06-17 21:58:40 · 7751 阅读 · 0 评论 -
CTR的模型:FM、FFM和DeepFM的理解
参考文献1.FM系列算法解读(FM+FFM+DeepFM)2.深入FM和FFM原理与实践3.CTR学习笔记系列—— FM 和 FFM4.FM算法及FFM算法5.『我爱机器学习』FM、FFM与DeepFM6.CTR预估算法之FM, FFM, DeepFM及实践前言在计算广告中,CTR是非常重要的一环。对于特征组合来说,业界通用的做法主要有两大类:FM系列和Tree系列。这里我们来介...原创 2019-07-11 11:45:08 · 4683 阅读 · 0 评论 -
神经网络反向传播算法(BP)推导
参考资料:读这一篇足以1. 输出层—>隐藏层权值更新:2.隐藏层—>隐藏层权值更新:原创 2019-04-15 16:38:04 · 223 阅读 · 0 评论 -
【表示学习05】node2vec解读
1.参考文献精读论文node2vecnode2vec论文阅读2.思路概述文章首先指出,现存的特征学习方法还不能足够的捕捉出显示网络中被观测到的联通模式的的多样性。作者同时认为在搜索相邻节点时增加灵活性时提升特征学习算法的关键。主要贡献:定义了节点网络的表述,并且提出了一种带偏置的随机游走策略,这种策略可以有效地检索分散的相邻节点。node2vec的指导性思想在于:1.属于同一社区的节...原创 2019-01-25 21:10:34 · 2172 阅读 · 1 评论 -
【转载】02梯度消失、爆炸原因及其解决方法
1.原文地址: https://blog.csdn.net/qq_25737169/article/details/78847691 2.记录原因: 为什么会有梯度消失?怎么解释和解决?转载 2018-09-16 14:20:55 · 87 阅读 · 0 评论 -
【转载】03L1正则和L2正则的比较分析详解
1.原文地址: https://blog.csdn.net/w5688414/article/details/78046960 2.记录原因: 在应用时,具体指标如何选取,有什么区别?转载 2018-09-16 23:28:06 · 106 阅读 · 0 评论 -
【转载】05图像处理前的one-hot编码和归一化原因
转载地址:http://blog.sina.com.cn/s/blog_68b422890100x4sr.html总结:1.one-hot编码针对laebl(也就是y_test)2.归一化针对图像数据本身,原因概括为:【1】图像数据可能是0-255的UNIT类型,首先数据格式不符合浮点运算要求,因此需要转换;【2】BP中常用sigmoid函数作为转移函数,归一化操作能够防止净输入到sig...转载 2018-10-14 14:18:37 · 1662 阅读 · 0 评论 -
【转载】04 epoch、 iteration 和 batchsize 的理解
1.原文地址:https://blog.csdn.net/dearwind153/article/details/694843322.问题:epoch、iteration和batchsize三者的具体意思和关系。转载 2018-10-08 15:49:00 · 102 阅读 · 0 评论 -
RNN收集(杂)
1.LSTM梳理2.译:理解LSTM3.推导总结LSTM4.Sigmoid和tanh异同5.LSTM的Keras实现6.用LSTM生成诗句的示例原创 2018-12-05 22:46:31 · 101 阅读 · 0 评论 -
【表示学习01】word2vec解读
1.参考文献1.word2vec原理推导2.word2vec原理-刘建平3.word2vec、DeepWalk、node2vec对比4.自己动手写word2vec5.word2vec的输入是one-hot编码2.思路和关键点解读2013年,Google团队发表了word2vec工具。word2vec工具主要包含两个模型:跳字模型(skip-gram)和连续词袋模型(continuo...原创 2019-01-23 23:21:37 · 1063 阅读 · 0 评论 -
【表示学习02】word2vec具体实现细节
1.参考文献1.知乎解答2.word2vec的数学原理2.具体实现细节2.1关于模型输入step1:首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英文语料库你可能需要大小写转换检查拼写错误等操作,如果是中文日语语料库你需要增加分词处理(jieba库)。这个过程其他的答案已经梳理过了不再赘述。step2:得到你想要的process...原创 2019-01-24 13:53:27 · 701 阅读 · 0 评论 -
【表示学习03】word2vec的gensim实现
1.参考文献博客gensim使用示例tensorflow实现2.gensim介绍gensim是一个很好用的Python NLP的包,不光可以用于使用word2vec,还有很多其他的API可以用。它封装了google的C语言版的word2vec。当然我们可以可以直接使用C语言版的word2vec来学习,但是个人认为没有gensim的python版来的方便。2.1 gensim word2...原创 2019-01-24 21:41:35 · 497 阅读 · 0 评论 -
【表示学习04】DeepWalk解读
1.参考文献DeepWalk原文解读DeepWalk原理理解DeepWalk学习DeepWalk学习笔记2.理解主要的解读和这一篇基本一致。实际上DeepWalk的主要贡献在于将Word2vec技术首次应用在了图表示学习方面。本质上DeepWalk的目标直接说来就是“降维”,从原先的每个节点用,m维表示,变为用d维表示(d<<m)。相较于传统PCA,LDA等降维方法,...原创 2019-01-25 11:17:02 · 1211 阅读 · 0 评论 -
BM、RBM、DBN思路
原创 2019-07-24 23:23:42 · 510 阅读 · 0 评论