寸先生的AI道路

       本系列笔记是学习《Long Short Term Memory Networks with Python》时练习和记录，该书主要针对各种LSTM网络使用keras进行实现，我可以将自己码的Jupyter notebook代码和笔记分享。一.Prepare Numeric Data缩放数据通常有两种方式:normalizaiton和standardization,都可以使用sc...

有人问我Win10下深度学习环境的构建，个人觉得应该和Win7差不多，但出于负责还是亲自尝试记录一下。下面所说的命令都是亲测可用的。我的平台是：Python3.6(Anaconda4.3)+CUDA10.0+windows10，提前去NVIDIA官网下载CUDA和cuDNN，配置见我的另一篇博客，这里不再赘述设置源2019年6月5日Anaconda清华源又恢复使用了，很好！！在anna...

论文地址：https://arxiv.org/abs/1903.04120 本文是CVPR2019上发表的一篇文章，文章主要设计了新的滤波器结构，在大幅减少FLOPS的前提下还能保证延迟和准确性。 文章将现有的卷积过滤器大致分为三类：1）深度方面的卷积过滤器，用于执行逐深度的卷积（DWC）2）点方面的卷积过滤器，用于执行逐点卷积（PWC）3）分组方面的卷积...

一.生成模型概述LSTM可以被用于生成模型，如Language Modeling：给定一个序列的大型语料库，用于生成风格类似的输出序列，常被用于文本生成，具体可以参看论文：Generaing Text with Recurrent Neural Networks,2011Generaing Sequence with Recurrent Neural Networks,2013二.以形...

一.结构1.概述Bidirectional RNN(BRNN)同时使用正向和反向的序列来进行预测，前提是需要在预测输出前知道完整的输入序列。其结构如图，具体可以参加论文《B idirectional Recurrent Neural Networks》2.实现(1)LSTM层中的参数go_backwards可以用于指定方向性：model = Sequential()model.add...

一.结构Encoder-Decoder LSTM是为了解决NLP问题开发的，在统计机器翻译领域展示出强大的性能。这种架构常用于：Machine TranslationLearning to ExecuteConversational Modeling*Movement Classification示例：model = Sequential()model.add(LSTM(....

一.结构概述CNN LSTM架构使用CNN做为前端提取输入数据的特征，然后结合LSTM进行序列预测，常见的应用如：Activity RecognitionImage DescriptionVideo Description该结构适合的用途为：1.输入数据有空间结构，如2D结构，图片像素，或如句子中的词语，段落或文档等1D结构。2.输入数据有时间结构，如视频中的图片顺序，文本中的词语...

一.Stacked LSTM概述Stacked LSTM是有多个隐藏LSTM层，每个LSTM层有包含多个memory cell的LSTM。这样做的目的时加深网络，从而预测更加复杂的问题。上层的LSTM结构输出一个序列而不是一个单一的值到下一个LSTM结构。在《Speech Recogition with Deep Recurent Neural Network》这篇文章中指出，LSTM层级的堆叠...

一.Vanilla LSTM这是在LSTM原始论文中定义的标准的也是最简单的LSTM模型，可以用于解决简单的序列问题，其结构如下图：1.Keras实现model = Sequential() model.add(LSTM(..., input_shape=(...))) model.add(Dense(...))2.实例：Echo Sequence Predition Pr...

1.one-to-one model应用场景如：给定一个词预测下一个词可以使用类似代码：model = Sequential() model.add(LSTM(..., input_shape=(1, ...))) model.add(Dense(1))2.one-to-many model应用场景如：从单张图片预测词语序列，从单个时间预测一系列的观察值图片标记使用CN...

使用Keras开发LSTM可以分为6步：定义模型 编译模型 拟合模型 评估模型 使用模型进行预测1.定义模型(1)主要使用Sequential()类下的LSTM()和Dense(),如：layers = [LSTM(2),Dense(1)] model = Sequential(layers)第一个隐层需要定义输入，输入的维度必须是三维的(samples,time...

本文资源均收集自网络，方便大家研究和使用Google BERT模型BERT论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文解读：站在BERT肩膀上的NLP新秀们（PART I）站在BERT肩膀上的NLP新秀们（PART II）如何可视化BERT？BERT相关论文...