神经网络
WX Chen
实用技术总结,前沿科技分享,欢迎交流技术和业务
展开
-
LSTM Keras下的代码解读
可以参考 官方文档https://keras.io/ 首先,model = Sequential()是给神经网络起了头,后面的model.add()是一直加层。 model.add(Activation('relu'))这个激活函数(Activation)keras提供了很多备选的,我这儿用的是ReLU这个,其他还有tanh sigmoid hard_sig...原创 2017-09-08 15:33:36 · 12051 阅读 · 0 评论 -
图像分类 AlexNet GoogleNet VGG ResNet学习
Lenet,1986年Alexnet,2012年GoogleNet,2014年VGG,2014年Deep Residual Learning,2015年 AlexNet更强调了全连接层的作用,它用了两个全连接层,那么为了减少权重的数目,才引出了dropout这个概念输入尺寸:227*227像素(因为竞赛的需要)卷积层:好多(因为输入尺寸的需要)降采样层:好多(因为输入尺寸的需...原创 2018-10-10 09:26:54 · 470 阅读 · 0 评论 -
使用LSTM实现mnist手写数字分类识别 TensorFlow
RNN做图像识别原理:MNIST数据集中一张图片数据包含28*28的像素点。RNN是将一张图片数据的一行作为一个向量总体输入一个X中。也就是说,RNN有28个输入X,一个输入X有28个像素点。输出最后一个结果做为预测值。 TensorFlow入门学习代码:# -*- coding: utf-8 -*-from tensorflow.examples.tutorials.mnist ...原创 2018-09-28 10:28:22 · 1907 阅读 · 0 评论 -
Unet深度学习网络
2015年《U-Net: Convolutional Networks for Biomedical Image Segmentation》先对图片进行卷积和池化,在Unet论文中是池化4次,比方说一开始的图片是224x224的,那么就会变成112x112,56x56,28x28,14x14四个不同尺寸的特征。然后我们对14x14的特征图做上采样或者反卷积,得到28x28的特征图,这个28x28的特征图与之前的28x28的特征图进行通道的拼接concat,然后再对拼接之后的特征图做卷积和上采样,得到5原创 2021-12-14 09:40:59 · 2731 阅读 · 0 评论 -
使用LeNet-5实现mnist手写数字分类识别 TensorFlow
TensorFlow的学习材料很多,但很少有讲得特别详细,让小白一看就懂的。我自己总结了cnn实现mnist分类识别的方法,希望能给TensorFlow初学者一些帮助,实测在python3下可以运行。# -*- coding: utf-8 -*-# 使用LeNet-5实现mnist手写数字分类识别import tensorflow as tf from tensorflow.examp...原创 2018-09-25 15:13:09 · 3437 阅读 · 1 评论 -
Transformer网络
注意力机制Attention机制最早在视觉领域提出,2014年Google Mind发表了《Recurrent Models of Visual Attention》。2015年,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中,将attention机制首次应用在nlp领域,其采用Seq2Seq+Attention模型来进行机器翻译2017年,Google 机器翻译团队发表的原创 2021-12-15 09:17:48 · 1036 阅读 · 0 评论 -
AttributeError: module 'tensorflow.contrib.rnn' has no attribute 'BasicLSTMCell'
在windows上安装了tensorflow1.2写一个RNN代码测试的时候,出现错误AttributeError: module 'tensorflow.contrib.rnn' has no attribute 'BasicLSTMCell' 原因是没有BasicLSTMCell,tensorflow1.2.中改了函数位置,解决如下:tf.nn.rnn_cell.Basic...原创 2018-11-21 14:15:05 · 1812 阅读 · 0 评论 -
CNN 卷积神经网络
Deep Learning是全部深度学习算法的总称,CNN是深度学习算法在图像处理领域的一个应用。 1. 概述卷积神经网络是一种特殊的深层的神经网络模型,它的特殊性体现在两个方面,一方面它的神经元间的连接是非全连接的, 另一方面同一层中某些神经元之间的连接的权重是共享的(即相同的)。它的非全连接和权值共享的网络结构使之更类似于生物神经网络,降低了网络模型的复杂度(对于很难学习的深...原创 2017-10-03 15:46:51 · 414 阅读 · 0 评论 -
RNN、LSTM、GRU学习补充
隐藏层神经元个数的解释每一个小黄框代表一个前馈网络层,对,就是经典的神经网络的结构,num_units就是这个层的隐藏神经元个数(例如128,256)https://www.zhihu.com/question/64470274 双向 LSTM我今天不舒服,我打算__一天。只根据‘不舒服‘,可能推出我打算‘去医院‘,‘睡觉‘,‘请假‘等等,但如果加上后面的‘一天‘,能选择的范围就变...原创 2018-10-09 11:44:17 · 387 阅读 · 0 评论 -
CNN学习的补充
卷积神经网络的基本架构由3部分组成:卷积,池化 和 全连接。卷积是用一个滑动窗口从输入图像中提取特征。池化操作为了降低维度。池化操作的输出图像的大小:(输入图像宽度 - 内核宽度 + 2*padding) / 步长 + 1https://blog.csdn.net/cicibabe/article/details/73075222 pooling的结果是使得特征减少,参数减少,但po...原创 2018-10-08 17:15:33 · 195 阅读 · 0 评论 -
coursera课程 《Neural Networks for Machine Learning》
《Neural Networks for Machine Learning》课程的一些考试还是很有挑战性的,博主搜了一些公共资源,有助于学习。https://www.coursera.org/learn/neural-networks/home/welcomeLecture 1 Quizhttps://github.com/vaquarkhan/Machine-Learning/wiki...原创 2018-09-15 14:54:33 · 1044 阅读 · 1 评论 -
GRU入门
RNN反向求导会出现梯度弥散,导致我们很难训练网络,对于长时刻记忆总不尽人意,于是就诞生了LSTM。门控循环单元(GRU)本质上就是一个没有输出门的LSTM,因此它在每个时间步都会将记忆单元中的所有内容写入整体网络。RNN网络考虑到了具有时间数列的样本数据,但是RNN仍存在着一些问题,比如随着时间的推移,RNN单元就失去了对很久之前信息的保存和处理的能力,而原创 2017-10-03 16:10:19 · 650 阅读 · 0 评论 -
LSTM特点
CNN vs RNNRNN回归型网络,用于序列数据,并且有了一定的记忆效应,辅之以lstm。CNN应该侧重空间映射,图像数据尤为贴合此场景。RNN理论的和经验的证据表明很难学习并长期保存信息。为了解决这个问题,一个增大网络存储的想法随之产生。采用了特殊隐式单元的LSTM(long short-termmemory networks)被首先提出,其自然行为便是长期原创 2017-10-03 16:08:49 · 3918 阅读 · 0 评论 -
LSTM入门
例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。RNN 解决了这个问题。RNN 是包含循环的网络,允许信息的持久化。RNN 包含循环RNN 可以被看做是同一神经网络的多次赋值,每个神经网络模块会把消息传递给下一个。所以,如果我们将这个循环展开:展开的 RNN原创 2017-10-03 16:01:45 · 695 阅读 · 0 评论 -
RNN介绍
RNN介绍RNNs的目的是用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具原创 2017-10-03 16:00:02 · 427 阅读 · 0 评论 -
BP神经网络
中文名 反向传播神经网络,又叫 多层前馈神经网络。原理 C++实现正向传递子过程其中f()为激活函数反向传递子过程误差函数如下而BP神经网络的主要目的是反复修正权值和阀值,使得误差函数值达到最小。根据梯度下降法根据梯度下降法,那么对于隐含层和输出层之间的权值和阀值调整如下原创 2017-10-03 15:56:08 · 660 阅读 · 0 评论 -
Hopfield神经网络
Hopfield最早提出的网络是二值神经网络,神经元的输出只取1和0,所以,也称离散Hopfield神经网络(DHNN,Discrete Hopfield Neural Network)。在离散Hopfield网络中,所采用的神经元是二值神经元,因此,所输出的离散值1和0分别表示神经元处于激活和抑制状态。网络结构 DHNN是一种单层、输出为二值的反馈网络。三个神经元组成的离原创 2017-10-03 15:53:38 · 889 阅读 · 0 评论 -
梯度弥散和梯度爆炸
bp神经网络中,梯度会随着反向传播层数的增加而呈指数增长,导致梯度爆炸(膨胀)。在经过多层的传播后,梯度会趋向于0,导致梯度弥散(消失)。原创 2017-10-03 15:52:25 · 650 阅读 · 0 评论