深度学习
文章平均质量分 84
dayL_W
热爱编程、热爱生活、热爱运动
展开
-
Tensorflow 多 GPU 训练
介绍TensorFlow中的并行主要分为模型并行和数据并行。 模型并行需要根据不同模型设计不同的并行方式, 其主要原理是将模型中不同计算节点放在不同硬件资源上运算。 比较通用的且能简便地实现大规模并行的方式是数据并行, 其思路我们在第1章讲解过, 是同时使用多个硬件资源来计算不同batch的数据的梯度, 然后汇总梯度进行全局的参数更新。数据并行又分为同步和异步,同步训练是指等所有GPU得到梯度...原创 2020-04-01 21:58:24 · 815 阅读 · 1 评论 -
TensorBoard的使用
介绍使用 Tensorboard 是TF 的可视化工具,它通过对Tensoflow程序运行过程中输出的日志文件进行可视化Tensorflow程序的运行状态。使用流程例程请问 Markdwon 怎么用? - 小德国对法国地方方式背景高亮发大水发...转载 2020-04-01 21:01:22 · 883 阅读 · 0 评论 -
TensorFlow2学习:RNN生成古诗词
本文转自 AI科技大本营 TensorFlow2学习:RNN生成古诗词文章不见了可以参考这位博主的文章公众号的文章写得挺好的,这里简单介绍下思路及值得学习的地方模型简介模型不算多么复杂高大上,但是五张俱全,所有文本生成过程都考虑到了,大概流程如下:数据预处理,去除非法字符,比如“()”,“《》” 啥的,提取诗歌内容,跳过长度大于 MAX_LEN (64)的诗歌。统计诗歌出现的字,滤除词...转载 2020-03-27 15:32:17 · 3136 阅读 · 1 评论 -
LSTM-英文生成
英文生成模型简介英文文本的生成方法可以基于字符的粒度,也可以基于词汇的粒度,顾名思义,前者根据历史的字符预测出下一个字符,后者测根据词汇预测出下一个词汇。值得注意的是字符是有限的,单词是无线的,基于词汇粒度生成文本时,输入的数据肯定不能是词汇的onehot向量,最好是词嵌入向量。这里介绍基于字符粒度生成英文文本。模型结构如上所示,语言模型根据初始文本预测下一个字符的分布,通过采样策略对下一个...原创 2020-03-25 12:03:03 · 929 阅读 · 0 评论 -
Keras-一维卷积及模型优化方法
深度学习模型优化深度学习在模型训练过程中有许多优化方法,比如:批标准化。批标准化层一般添加在激活函数之前,通过标准化的方法使得输出的数据均值为0,方差为1。但是批标准化增加了反标准化操作,通过缩放和平移更有利于模型寻找最优解。参考链接批再标准化。有学者提出批再标准化的想法,它使用特殊的激活函数(selu)和初始化函数(lecun_normal),能够让数据警告任何Dense层之后保持数据标...原创 2020-03-01 01:14:29 · 2514 阅读 · 0 评论 -
IMDB情感分类
模型参数量准确率NN130W0.8336RNN50W0.8307LSTM32W0.8638BiLSTM52W0.8673原创 2020-02-29 21:52:12 · 1665 阅读 · 0 评论 -
文本生成样例解读
功能介绍文本生成模型是NLP中基础的语言模型,它的任务是在给定的Word Sequence下输出下一个Word的分布。以下对Tensorflow例程代码进行解读,代码地址为源代码地址数据预处理训练数据集来源于Penn Tree Bank数据集。数据预处理代码为reader.py文件,预处理流程如下:读取文件分割预料成训练集、验证集、测试集字母小写数字用 “N” 替换,...原创 2020-02-17 20:30:27 · 450 阅读 · 0 评论 -
Keras-例程学习
代码来自https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py这是一个 IMDB 电影评论情感分类的任务:采用词序列的LSTM来对评论语句做情感分类IMDB 的数据集介绍见:https://blog.csdn.net/ltochange/article/details/78355753from __f...原创 2019-09-25 00:37:27 · 835 阅读 · 0 评论 -
LSTM理解及代码Demo
LSTM原理关于LSTM的原理很多大神的博客都介绍的非常详细了,这里简要的介绍一下,参考的博客和链接见文末。RNN 在实际的应用中最主要的问题就是不能很好的捕捉到远程依赖,这是由它本身的性质决定的,尽管误差可以往后传播,但是由于梯度消失,很难调整前面的神经网络层。而LSTM最主要的思想在于引入了遗忘门和更新门和输出门的思想,遗忘门表示对未来信息的丢失权重,更新门表示对当前信息的更新权重。遗...原创 2019-09-18 23:41:00 · 6694 阅读 · 0 评论 -
DeepLearning AI-序列模型-第二周
自然语言处理及词嵌入词汇表示之前都是采用词汇表来表示词汇,把词汇表示成一个one-hot向量。比如 man 在词汇表中的第5391位,那么one-hot向量的5391位置为1,其它位置为0。它的缺点就是:每个词孤立起来,没有相关性,相关性的泛化能力很弱,因为它们的内积都是 0维度太大了,一个词汇表比如有 10000,那么one-hot的维度就是1000维,非常庞大,并且稀疏,不利于模型...原创 2019-09-17 16:31:30 · 131 阅读 · 0 评论 -
CS224n-课时1-NLP和深度学习入门
课程链接https://study.163.com/course/courseLearn.htm?courseId=1006416006#/learn/video?lessonId=1054015262&courseId=1006416006NLP应用语言问答机器翻译智能搜索(同义词替换,拼写检查,sql生成)人类语言的特殊性人类语言并不是海量的信息,它需要传递指定的信息,...原创 2019-09-09 16:26:35 · 122 阅读 · 0 评论 -
Estimator的使用
全文以一个简单的例子介绍Estimator的使用,具体的代码和数据参见https://www.jianshu.com/p/5495f87107e7下文对源代码做了注释上的增加import tensorflow as tf#自定义模型函数'''模型函数包括训练模型、预测模型、测试模型通过不同的属性,可以得到的模型结果测试结果中的predictions是对输出结果的定义'''...转载 2019-09-02 16:56:02 · 2838 阅读 · 0 评论 -
ResNet介绍
ResNet介绍1 简要概括ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,通过使用ResNet Unit成功训练出了152层的神经网络,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量比VGGNet低,效果非常突出。ResNet的结构可以极快的加速神经网络的训练,模型的准确率也有比较大的提...原创 2018-07-10 19:37:33 · 189200 阅读 · 17 评论 -
Google InceptionNet介绍
Google InceptionNet介绍1 简要概括 Google InceptionNet出现在ILSVRC2014年的比赛中(和VGGNet同年),并以较大优势夺得了第一名的成绩,它的top5错误率为6.67%,VGGNet的错误率为7.3%。InceptionNet的最大特点是控制了计算量和参数量的同时提高了网络的性能,它的层数为22,比VGGNet19还深,但是只有15亿次浮点计算...原创 2018-07-10 18:54:59 · 12066 阅读 · 0 评论 -
VGGNet介绍
VGGNet介绍1 简要概括 VGGNet由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络。它探索了卷积神经网络的深度和其性能之间的关系,通过反复的堆叠3*3的小型卷积核和2*2的最大池化层,成功的构建了16~19层深的卷积神经网络。VGGNet获得了ILSVRC 2014年比赛的亚军和定位项目的冠军,在top5上的错误率为7.5%。目前为止,VG...原创 2018-07-09 17:13:26 · 84357 阅读 · 9 评论 -
AlexNet介绍
AlexNet介绍1 简要概括AlexNet由Alex Krizhevsky于2012年提出,夺得2012年ILSVRC比赛的冠军,top5预测的错误率为16.4%,远超第一名。AlexNet采用8层的神经网络,5个卷积层和3个全连接层(3个卷积层后面加了最大池化层),包含6亿3000万个链接,6000万个 参数和65万个神经元。2 创新点成功使用ReLU作为CNN的激活函数,验证了其效果在较深的...原创 2018-07-09 16:23:08 · 14929 阅读 · 0 评论