- 博客(18)
- 收藏
- 关注
原创 深入理解 BatchNormalization
深入理解 BatchNormalization经典论文**《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》**提出了Batch Normalization(BN) 批标准化的概念,在模型中运用 BN 不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解...
2019-10-27 12:07:58
628
原创 Python深度学习--学习笔记(十七)
结合 CNN 和 RNN 来处理长序列运用一维卷积与循环层对文本进行学习,这里我们依然拿耶拿的天气数据进行举例。处理数据import osdata_dir = 'C:\\Users\\Administrator\\Desktop\\Keras_learn\\jena_climate'fname = os.path.join(data_dir,'jena_climate_2009_2...
2019-08-10 08:33:06
309
原创 Python 深度学习--学习笔记(十六)
使用双向RNN双向 RNN 是一种常见的RNN 变体,它在某些任务上的性能比普通 RNN 更好。它常用于自然语言处理,可谓深度学习对自然语言处理的瑞士军刀。我们先来看下双向RNN的工作原理:这里注意,这里的逆序是指将样本集 逆序排列,每个样本的内容结构没有改变。在keras中将一个双向RNN实例化,我们需要用到Bidirectional层。下面我们将双向RNN运用与上一节的温度预测:...
2019-08-10 08:12:30
276
原创 Python 深度学习--学习笔记(十五)
温度预测问题今天我们将使用一个天气时间序列数据集,它由德国耶拿的马克思 • 普朗克生物地球化学研究所的气象站记录。目的是给定一些数据,预测24小时之后的气温。首先,先在https://s3.amazonaws.com/kerasdatasets/jena_climate_2009_2016.csv.zip 下载数据集。查看数据import osdata_dir = 'C:\\Us...
2019-08-07 22:15:56
3794
2
原创 Python 深度学习--学习笔记(十四)
用一维卷积神经网络处理序列对于处理imdb评价正负面判断的模型,其实不是严格按照时间循序学习的,而是寻找样本中的关键词,因此用其他网络构建的模型同样对处理imdb评论有着很好的效果。今天,我们将学习到用一维卷积理解序列数据。一维卷积的卷积核是 (n,1) 的形状。这里需要注意的一点是,我们在二维卷积是大部分时间用到的卷积核为(3,3)(3x3=9),在一维卷积层,卷积窗口的大小可以提升到 (...
2019-08-06 08:43:37
171
原创 Python深度学习--学习笔记(十三)
用LSTM层编写辨别imdb评论正负面模型上一节,我们提到了RNN已经RNN在keras中最简单的层SimpleRNN。但SimpleRNN由于过于简化,没有实用价值。实际上,它不可以学到长期依赖。原因在于梯度消失问题,当运用比较多的非循环层时,而让网变得无法训练。同样的问题其实也普遍发生在密集连接层。今天介绍的LSTM(long short-term memory)层,也是RNN层中的一种...
2019-08-04 09:00:47
207
原创 Python 深度学习--学习笔记(十二)
用simpleRNN对imdb评论进行判断任何一门语言都有逻辑。人类阅读文本,要靠上下文理解全篇大意,那机器能否也能学习语言呢?基于这个思想,科学家们创造出了处理语言的学习层——循环神经网络(RNN)我们说的每一个字都对接下来说的话有影响,用机器理解,就是将上一个单词的处理传入下一次单词的处理中去。...
2019-08-03 09:58:00
300
原创 Python 深度学习--学习笔记(十一)
使用预训练模型学习判断imdb评论正负面模型本节的模型与上节见过的那个类似:将句子嵌入到向量序列中,然后将其展平,最后在上面训练一个 Dense 层。但此处将使用预训练的词嵌入。此外,我们将从头开始,先下载IMDB 原始文本数据,而不是使用 Keras 内置的已经预先分词的 IMDB 数据。首先,在 http://mng.bz/0tIo ,下载原始IMDB数据集并解压。文件夹的结构如下:a...
2019-08-01 09:20:13
307
1
原创 Python深度学习--学习笔记(十)
用词嵌入的方式训练imdb正负面评价模型在Python 深度学习–学习笔记(二)中,我们学习到用全连接层训练分辨imdb评论正负面的模型,这里稍做回顾:[1] 导入数据[2] 将数据转化为one-hot编码[3] 构建模型:[4] 编译,训练模型[5] 评估模型在导入数据时,我们人为地规定导入不同的单词数最多不超过10 000个:(x_train,y_train),(x_test...
2019-07-31 22:20:37
151
原创 Python 深度学习--学习笔记(九)
对预训练模型进行微调整我们紧接上一节Python 深度学习–学习笔记(八)讲到的用预训练模型进行学习。训练的结果是验证集的准确度达到 0.9 ,那我们有没有办法让它的精确度更高呢?有,我们让卷积层的顶层(最后一层)解冻,解冻 就是略微调整了所复用模型中更加抽象的表示,以便让这些表示与手头的问题更加相关。(图片来源《Python 深度学习》)现在,我们运用以上思路进行代码的实现:导入上一...
2019-07-30 10:22:08
300
2
原创 Python 深度学习--学习笔记(八)
使用预训练的卷积神经网络学习猫狗分类 在Python 深度学习–学习笔记(七)中,我们从零构建模型并进行学习。增加了增强学习,训练了100轮后,准确率还是没到80%。这很大程度上因为学习的数据不够多。所以,今天我们使用预训练的神经网络。预训练网络(pretrained network)是一个保存好的网络...
2019-07-29 09:46:14
403
原创 Python 深度学习--学习笔记(七)
运用数据增强来提高猫狗分类准确度猫狗分类的基本代码已在Python 深度学习–学习笔记(六)上节中,训练过程输出(部分) 如下:可以看出,验证集的准确度最后停在 0.7120,这很大的原因是训练集的数目不够多。为使模型的泛化能力提升,最关键的就是要增加训练的数据量.在图片数据不够多的前提下,可以让模型对图片进行更深刻的学习.例如,将图片左右旋转适当的角度,平移,镜像翻转,缩放等等,然后将...
2019-07-28 11:12:11
266
原创 Python 深度学习--学习笔记(六)
通过卷积神经网络学习对猫狗图片进行分类下载 猫狗图片数据 解压 选择保存在一个文件夹中。解压后,可以看到,图片名都是 cat/dog.数字.jpg 的形式.今天介绍的猫狗分类学习模式一样还是监督学习。其中,监督学习的标签是不同的子文件夹。首先,预处理数据,将图片分成不同的训练集,每个数据集再分出猫狗子文件夹。创建结构文件夹import osoriginal_dataset_...
2019-07-27 09:18:37
295
原创 Python 深度学习--学习笔记(五)
用CNN编写手写数字识别用全连接网络便携手写数字识别在Python 深度学习–学习笔记(一)今天,我们来用卷积神经网络来编写手写数字识别。我们先来说说全连接层(密集连接层)和卷积层在学习上的根本区别:由于给全连接层传入的是二维数组,Dense层从输入特征空间中学到的是全局模式,而传给卷积层的是三维形式,通过卷积核的运算特性,学到的是局部模式。我们先来构建模型:from keras imp...
2019-07-27 08:24:47
166
原创 Python深度学习--学习笔记(四)
编写预测分析波士顿房价的线性回归模型首先,导入数据from keras.datasets import boston_housing(train_data,train_targets),(test_data,test_targets) = boston_housing.load_data()来看看数据大小:print(train_data.shape,train_targets.sha...
2019-07-26 09:30:29
325
原创 Python 深度学习--学习笔记(三)
路透社新闻分类问题首先,导入数据:from keras.datasets import reuters(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)限制每条新闻数据限制在常用的10 000个单词。让我们看看数据的大小:print(train_data....
2019-07-25 08:21:56
326
原创 Python 深度学习--学习笔记 (二)
编写imdb评价判断神经网络首先,导入数据from keras.datasets import imdb(x_train,y_train),(x_test,y_test) = imdb.load_data(num_words=10000)num_words=10000 表示:选取评论中前10 000个常用的单词,所以单词索引都不会超过10 000。现在,让我们查看下数据的大小:pr...
2019-07-24 09:40:05
475
原创 Python 深度学习--学习笔记(一)
Python 深度学习--学习笔记(一)编写mnist手写神经网络首先导入数据,第一次导入时需要等待下载from keras.datasets import mnist(train_images,train_labels),(test_images,test_labels) = mnist.load_data()train_images:训练需要的图片  ...
2019-07-23 09:40:32
530
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人