深度学习
我的研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!
Microstrong0305
菜鸟程序猿
展开
-
理解LSTM网络
目录:LSTM网络LSTM前向传播算法LSTM反向传播算法思考几个问题LSTM的变体Reference1. LSTM网络LSTM是一种特殊的RNN,可以解决长期依赖的问题。它是由Hochreiter和Schnidhuber提出的,后来被很多人改进和推广,并在各种各样的问题上工作得非常好,现在被广泛的应用。明确来说,设计LSTM主要就是为了解决长期依赖的问题,它的本质就是能够记...原创 2019-04-30 17:49:34 · 1423 阅读 · 1 评论 -
深度学习中的注意力机制
微信公众号本文首发在我的微信公众号里,地址:https://mp.weixin.qq.com/s/3911D_FkTWrtKwBo30vENg本文同步更新在我的知乎专栏里,地址:https://zhuanlan.zhihu.com/p/53036028...原创 2018-12-25 21:43:13 · 892 阅读 · 0 评论 -
卷积神经网络(CNN)综述
微信公众号本文同步更新在我的微信公众号里,地址: https://mp.weixin.qq.com/s/1om-0pg9uKU05yjfPA9fUg原创 2018-12-10 11:22:21 · 6025 阅读 · 0 评论 -
Tensorflow学习之Autoencoder(一)
三篇文章掌握Autoencoder:1. Tensorflow学习之Autoencoder(一)2. Tensorflow学习之Autoencoder(二)图片降维并还原图片3. Tensorflow学习之Autoencoder(三)图片降维的结果展示微信公众号1. 什么是自编码器(Autoencoder)?自编码器是一种神经网络的形式。人工神经网络是一种具有层次结构...原创 2018-11-13 18:31:31 · 2267 阅读 · 1 评论 -
循环神经网络(RNN)
微信公众号 本文同步更新在我的微信公众号里,地址:https://mp.weixin.qq.com/s/IPyI2Ee6Kzyv3wFAUN7NOQ本文同步更新在我的知乎专栏里,地址:https://zhuanlan.zhihu.com/p/43190710目录1. 基本循环神经网络2. 双向循环神经网络2.1 双向循环神经网络的介绍2.2 双向循环神经网络的训练...原创 2018-11-04 22:13:17 · 4499 阅读 · 0 评论 -
对Dilated Convolution理解
本文主要对论文《Multi-Scale Context Aggregation by Dilated Convolutions》进行总结。论文地址:https://arxiv.org/abs/1511.07122源码地址:https://github.com/fyu/dilation摘要针对图像语义分割中像素点级别的密集预测分类,提出了一种新的卷积网络模块。通过扩张(空洞)卷积进行多尺度上下文信息...原创 2018-07-12 22:49:28 · 4939 阅读 · 0 评论 -
卷积神经网络中感受野的详细介绍
1. 感受野的概念在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是,特征图上的一个点对应输入图上的区域,如图1所示。图1:用图形理解感受野概念2. 感受野的例子(1)两层3*3的卷积核卷积操作之后的感受野是5*5,其中卷积核(filter)的步长(stride)为1、pa...原创 2018-07-08 13:38:22 · 119577 阅读 · 30 评论 -
深度学习优化方法-AdaGrad
“微信公众号” 梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。 但是在实际应用中,各个参数的重要性肯定是不一样的,所以我们对于不同的参数要动态的采取不同的学习率,让目标函数更快的收敛。 A...原创 2018-06-21 10:09:44 · 29382 阅读 · 1 评论 -
深度学习中Dropout原理解析
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合,那么得到的模型几乎不能用。为了解决过拟合问题,一...原创 2018-06-19 19:12:24 · 313586 阅读 · 62 评论 -
神经网络梯度消失和梯度爆炸及解决办法
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号中,公众号文章地址:https://mp.weixin.qq.com/s/6xHC5woJND14bozsBNaaXQ目录:(1) 神经网络梯度消失与梯度爆炸(2) 几种激活函数的比较推荐阅读:《神经网络激活函数的...原创 2018-04-21 19:48:53 · 22793 阅读 · 9 评论 -
深度学习中的Batch Normalization
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号中,公众号文章地址:https://mp.weixin.qq.com/s/o_Gwa11BauT60U7S1--3fQ本文同步更新在我的知乎中:深度学习中的Batch Normalization - Microstrong的文...原创 2018-04-29 16:01:19 · 820 阅读 · 0 评论 -
在AlexNet中LRN 局部响应归一化的理解
微信公众号一、LRN技术介绍:Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法,其跟激活函数是有区别的,LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。AlexNet将LeNet的思想发扬光大,把CNN的基...原创 2018-03-03 14:32:59 · 18460 阅读 · 0 评论