深度学习
文章平均质量分 56
Microstrong0305
菜鸟程序猿
展开
-
在AlexNet中LRN 局部响应归一化的理解
微信公众号一、LRN技术介绍:Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法,其跟激活函数是有区别的,LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。AlexNet将LeNet的思想发扬光大,把CNN的基...原创 2018-03-03 14:32:59 · 18541 阅读 · 0 评论 -
Tensorflow中tf.name_scope() 和 tf.variable_scope() 的区别
目录一、name_scope和variable_scope的用途(1)variable_scope用途:共享变量(2)可视化用途:画Tensorboard流程图时封装二、TensorFlow中name_scope和variable_scope区别(1)TF中创建变量的方式有两种:tf.get_variable()和tf.Variable()(2)Tensorflow中有两种...原创 2018-07-20 20:57:36 · 1382 阅读 · 0 评论 -
Tensorflow用循环神经网络中的LSTM实现回归预测
“微信公众号”一、回归预测要实现的问题这次我们会使用RNN来进行回归(Regression)的训练,使用自己创建的sin曲线预测一条cos曲线。如下图所示,我们用蓝色的sin曲线预测红色的cos曲线。二、回归预测要实现的效果经过RNN的回归训练,我们的网络预测结果和真实结果的一个比对图...原创 2018-07-21 21:19:42 · 4936 阅读 · 0 评论 -
Tensorflow中TFRecord文件保存和读取
先记在这里,有空闲在补充。看过比较好的相关文章为:【1】https://blog.csdn.net/xierhacker/article/details/72357651原创 2018-07-22 22:58:17 · 614 阅读 · 0 评论 -
Allowing GPU memory growth
默认情况下,TensorFlow会占用所有GPUs的所有GPU内存(取决于CUDA_VISIBLE_DEVICES这个系统变量),这样做可以减少内存碎片,更有效地利用设备上相对宝贵的GPU内存资源。在某些情况下,该进程仅仅需要分配可用内存的一部分,或者根据该进程的需要来增加内存的使用量。TensorFlow在Session上提供了两个Config选项来进行控制。第一个是“allow_gro...翻译 2018-08-14 19:21:08 · 2533 阅读 · 0 评论 -
关于jieba分词的用法
import jieba_fast as jiebajieba.dt.tmp_dir = tmp_pathjieba.load_userdict(data_path)jieba这个一定要设置,不然每次都会在tmp目录里新建文件原创 2018-10-29 14:00:12 · 541 阅读 · 0 评论 -
循环神经网络(RNN)
微信公众号 本文同步更新在我的微信公众号里,地址:https://mp.weixin.qq.com/s/IPyI2Ee6Kzyv3wFAUN7NOQ本文同步更新在我的知乎专栏里,地址:https://zhuanlan.zhihu.com/p/43190710目录1. 基本循环神经网络2. 双向循环神经网络2.1 双向循环神经网络的介绍2.2 双向循环神经网络的训练...原创 2018-11-04 22:13:17 · 4585 阅读 · 0 评论 -
Tensorflow学习之Autoencoder(一)
三篇文章掌握Autoencoder:1. Tensorflow学习之Autoencoder(一)2. Tensorflow学习之Autoencoder(二)图片降维并还原图片3. Tensorflow学习之Autoencoder(三)图片降维的结果展示微信公众号1. 什么是自编码器(Autoencoder)?自编码器是一种神经网络的形式。人工神经网络是一种具有层次结构...原创 2018-11-13 18:31:31 · 2303 阅读 · 1 评论 -
Tensorflow学习之Autoencoder(二)图片降维并还原图片
三篇文章掌握Autoencoder:1. Tensorflow学习之Autoencoder(一)2. Tensorflow学习之Autoencoder(二)图片降维并还原图片3. Tensorflow学习之Autoencoder(三)图片降维的结果展示微信公众号实现功能:用Tensorflow实现Autoencoder,通过对图片特征的压缩并解压,将结果与原始数据进行对...原创 2018-11-13 20:18:58 · 3793 阅读 · 11 评论 -
Tensorflow学习之Autoencoder(三)图片降维的结果展示
三篇文章掌握Autoencoder:1. Tensorflow学习之Autoencoder(一)2. Tensorflow学习之Autoencoder(二)图片降维并还原图片3. Tensorflow学习之Autoencoder(三)图片降维的结果展示微信公众号实现功能:在自编码器(autoencoder)中有编码器(encoder)和解码器(decoder)。我们只看...原创 2018-11-14 15:10:18 · 4020 阅读 · 1 评论 -
对循环神经网络(RNN)中time step的理解
微信公众号1. 传统的循环神经网络传统的神经网络可以看作只有两个time step。如果输入是“Hello”(第一个time step),它会预测“World”(第二个time step),但是它无法预测更多的time step。2. LSTM、GRU等【知乎】如何理解LSTM中的time step? - 知乎 https://www.zhihu.com/question/271...原创 2018-12-04 22:42:33 · 29254 阅读 · 5 评论 -
卷积神经网络(CNN)综述
微信公众号本文同步更新在我的微信公众号里,地址: https://mp.weixin.qq.com/s/1om-0pg9uKU05yjfPA9fUg原创 2018-12-10 11:22:21 · 6093 阅读 · 0 评论 -
【机器学习】【深度学习】【人工智能】【算法工程师】面试问题汇总(持续更新)
微信公众号1. 算法【1】动态规划经典题目总结2. 数据结构2.1 数组和字符串【1】【算法】删除一个数组中为0的元素【2】牛客网在线编程专题《剑指offer-面试题34》丑数【3】牛客网在线编程专题《剑指offer-面试题4》替换空格【4】牛客网在线编程专题《剑指offer》(1)二维数组中的查找2.2 链表【1】牛客网在线编程专题《剑指offer-面试...原创 2018-12-21 23:01:24 · 3651 阅读 · 1 评论 -
深度学习中的注意力机制
微信公众号本文首发在我的微信公众号里,地址:https://mp.weixin.qq.com/s/3911D_FkTWrtKwBo30vENg本文同步更新在我的知乎专栏里,地址:https://zhuanlan.zhihu.com/p/53036028...原创 2018-12-25 21:43:13 · 927 阅读 · 0 评论 -
理解LSTM网络
目录:LSTM网络LSTM前向传播算法LSTM反向传播算法思考几个问题LSTM的变体Reference1. LSTM网络LSTM是一种特殊的RNN,可以解决长期依赖的问题。它是由Hochreiter和Schnidhuber提出的,后来被很多人改进和推广,并在各种各样的问题上工作得非常好,现在被广泛的应用。明确来说,设计LSTM主要就是为了解决长期依赖的问题,它的本质就是能够记...原创 2019-04-30 17:49:34 · 1455 阅读 · 1 评论 -
卷积层输出大小计算
微信公众号(1)公式:假设:输入图片(Input)大小为I*I,卷积核(Filter)大小为K*K,步长(stride)为S,填充(Padding)的像素数为P,那卷积层输出(Output)的特征图大小为多少呢?可以得出推导公式:O=(I-K+2P)/S+1(2)例子:我们采用的卷积核大小为K=3*3,填充大小为P=1,步长为S=2。对5*5的输入特征图进行卷积生成3*3...原创 2018-07-06 17:19:13 · 40456 阅读 · 2 评论 -
对Dilated Convolution理解
本文主要对论文《Multi-Scale Context Aggregation by Dilated Convolutions》进行总结。论文地址:https://arxiv.org/abs/1511.07122源码地址:https://github.com/fyu/dilation摘要针对图像语义分割中像素点级别的密集预测分类,提出了一种新的卷积网络模块。通过扩张(空洞)卷积进行多尺度上下文信息...原创 2018-07-12 22:49:28 · 4979 阅读 · 0 评论 -
深度学习中embedding层的理解
最近在看深度学习中embedding的内容,把自己看过比较好的相关博客总结收录如下:(1)深度学习中Embedding层有什么用?地址:https://blog.csdn.net/u010412858/article/details/77848878(2)英文版介绍Embedding层作用:https://medium.com/towards-data-science/deep-learning-...原创 2018-06-29 10:11:39 · 29576 阅读 · 0 评论 -
神经网络梯度消失和梯度爆炸及解决办法
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号中,公众号文章地址:https://mp.weixin.qq.com/s/6xHC5woJND14bozsBNaaXQ目录:(1) 神经网络梯度消失与梯度爆炸(2) 几种激活函数的比较推荐阅读:《神经网络激活函数的...原创 2018-04-21 19:48:53 · 22902 阅读 · 9 评论 -
用Tensorflow构建一个神经网络
今天我们用Tensorflow构建图1所示的神经网络结构。神经网络结构说明:(1)输入层:300个含有一个特征的样本。(2)隐藏层:含有一个隐藏层,隐藏层中有10个神经元节点。神经元节点的激活函数是:ReLU。(3)输出层:一个神经元节点,没有激活函数。图1:神经网络实现代码如下:#coding:utf-8# 导入本次需要的模块import tensorflow as tfimport nu...原创 2018-05-04 11:51:58 · 1710 阅读 · 0 评论 -
Tensorflow中可视化好助手Tensorboard(一)
学会用Tensorflow自带的Tensorboard去可视化我们所构建的神经网络是一个很好的学习理解方式。用最直观的流程图告诉你,你的神经网络长什么样子,有助于你发现编程中出现的问题和疑问。首先,看效果图:同时,我们也可以展开看看每层layer中的一些具体结构:其实我们展示的就是上篇文章《用Tensorflow构建一个神经网络》 的结构,地址如下:https://blog.csdn.net/pr...原创 2018-05-05 20:35:23 · 406 阅读 · 0 评论 -
对卷积神经网络中padding的一点理解
padding的用途:(1)保持边界信息,如果没有加padding的话,输入图片最边缘的像素点信息只会被卷积核操作一次,但是图像中间的像素点会被扫描到很多遍,那么就会在一定程度上降低边界信息的参考程度,但是在加入padding之后,在实际处理过程中就会从新的边界进行操作,就从一定程度上解决了这个问题。(2)可以利用padding对输入尺寸有差异图片进行补齐,使得输入图片尺寸一致。(3)在卷积神经网...原创 2018-05-18 21:27:10 · 11287 阅读 · 0 评论 -
Tensorflow实现一个完整的卷积神经网络
(一)卷积神经网络结构+最终的识别精度。用Tensorflow实现一个完整的卷积神经网络,用这个卷积神经网络来识别手写数字数据集(MNIST)。我们先来看看实现的卷积神经网络结构如下图所示:接着,我们再来看看实现的这个卷积神经网络,在MNIST数据集中的测试集上的精度。我用了两种优化训练方法,对模型训练了1000次,在训练1000的过程中,每隔50次进行一次模型的精度测试。(1)批量梯度下降法(B...原创 2018-05-18 22:59:34 · 37960 阅读 · 10 评论 -
深度学习中的Batch Normalization
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号中,公众号文章地址:https://mp.weixin.qq.com/s/o_Gwa11BauT60U7S1--3fQ本文同步更新在我的知乎中:深度学习中的Batch Normalization - Microstrong的文...原创 2018-04-29 16:01:19 · 855 阅读 · 0 评论 -
机器学习之梯度下降法
(1)梯度下降(2)随机梯度下降(3)批量梯度下降(4)不同梯度下降算法的区别:梯度下降:梯度下降就是我上面的推导,要留意,在梯度下降中,对于θθ的更新,所有的样本都有贡献,也就是参与调整θθ.其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下,当然是这样收敛的速度会更快啦~随机梯度下降:可以看到多了随机两个字,随机也就是说我用样本中的原创 2018-01-07 22:07:42 · 353 阅读 · 0 评论 -
深度学习优化方法-AdaGrad
“微信公众号” 梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。 但是在实际应用中,各个参数的重要性肯定是不一样的,所以我们对于不同的参数要动态的采取不同的学习率,让目标函数更快的收敛。 A...原创 2018-06-21 10:09:44 · 29455 阅读 · 1 评论 -
基于LSTM循环神经网络的时间序列预测航班乘客数量例子
微信公众号英文例子:https://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/中文例子:https://www.jianshu.com/p/38df71cad1f620190604【1】6 种用 LSTM 做时间序列预测的模型结...原创 2018-06-14 15:44:45 · 6702 阅读 · 0 评论 -
TensorFlow中Saver保存读取
思考一个问题:我们搭建好一个神经网络,用大量的数据训练好之后,可定希望保存神经网络里面的参数,用于下次加载。那我们该怎么做呢?TensorFlow为我们提供了Saver来保存和加载神经网络的参数。一、保存(1)import所需的模块,然后建立神经网络当中的W和b,并初始化变量。import tensorflow as tfimport numpy as np# Save to file# ...原创 2018-06-22 19:54:44 · 691 阅读 · 0 评论 -
深度学习中Flatten层的作用
“微信公众号”Flatten层的实现在Keras.layers.core.Flatten()类中。作用:Flatten层用来将输入“压平”,即把多维的输入一维化,常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。例子:from keras.models import Sequentialfrom keras.layers.core import Flattenfrom ke...原创 2018-06-29 10:44:22 · 109865 阅读 · 12 评论 -
权重衰减(weight decay)与学习率衰减(learning rate decay)
“微信公众号”1. 权重衰减(weight decay)L2正则化的目的就是为了让权重衰减到更小的值,在一定程度上减少模型过拟合的问题,所以权重衰减也叫L2正则化。1.1 L2正则化与权重衰减系数L2正则化就是在代价函数后面再加上一个正则化项:其中C0代表原始的代价函数,后面那一项就是L2正则化项,它是这样来的:所有参数w的平方的和,除以训练集的样本大小n。λ就是正则项系数,权衡正则项与C0项的比...原创 2018-06-30 16:29:56 · 151432 阅读 · 36 评论 -
Tensorflow实现用循环神经网络中的LSTM分类手写数字MNIST数据集
“微信公众号”这次我们用RNN来进行分类的训练,我们使用的数据集是手写数字MNIST数据集。让RNN从每张图片的第一行像素读到最后一行,然后再进行分类判断。(1)我们构建的RNN结构图。(2)最后的训练结果:(3)最后的测试结果:(4)完整的代码。# coding:utf-8import tensorflow as tffrom tensorflow.examples.tutorials.mn...原创 2018-07-01 11:35:15 · 1410 阅读 · 0 评论 -
卷积神经网络中感受野的详细介绍
1. 感受野的概念在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是,特征图上的一个点对应输入图上的区域,如图1所示。图1:用图形理解感受野概念2. 感受野的例子(1)两层3*3的卷积核卷积操作之后的感受野是5*5,其中卷积核(filter)的步长(stride)为1、pa...原创 2018-07-08 13:38:22 · 120027 阅读 · 30 评论 -
深度学习中Dropout原理解析
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合,那么得到的模型几乎不能用。为了解决过拟合问题,一...原创 2018-06-19 19:12:24 · 314305 阅读 · 62 评论 -
《GAN万字长文综述》的读文章笔记
我的个人微信公众号:Microstrong微信公众号ID:MicrostrongAI公众号介绍:Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容,分享在学习过程中的读书笔记!期待您的关注,欢迎一起学习交流进步!Microstrong的微信公众号个人博客:https://blog.csdn.net/program_developer...原创 2019-08-14 22:25:40 · 1409 阅读 · 0 评论