micklongen的专栏

E. 深度学习 — 其他Pointer Network概述Pointer Networks正是通过对Attention Mechanism的简化而得到的。问题传统seq2seq模型来说，它的输出词汇表已经限定，当输入序列的长度变化的时候（如变为10个点）它根本无法预测大于4的数字实现初始化Key1值使用RNN把所有的输入跑一遍通过softmax，获取一个输入，作为当前这次迭代选中的点通过选中的点，生成key2回到第二步，直到标记点（End）被选中应用场景适用场

E. 深度学习 — 生成式对抗网络（GAN） 之应用GAN的特征提取InfoGAN网络结构c+z -> Generator -> xx -> Discriminator -> scalarx -> Classifier -> c特点Generator + Classifier：本质上就是 Auto-encoderDiscriminator 和 Classifier 参数共享VAE-GAN网络结构x -> Encoder

E. 深度学习 — 生成式对抗网络（GAN） 之概述概述组成部分Generator：类似 encoder无法学习 component 和 component 之间的关系Discriminator：类似 Seq2Seq 的Decoder类比Teacher - Student伪钞制作者 - 警察Unconditional GAN基本流程：一次迭代的流程第一步：Discriminator输入：两类数据原始数据Generator 生成的数据输出原始数据为

E. 深度学习 — Transformer - BERT(Bidirectional Encoder Representations from Transformers)概述本质BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。特点采用MLM对双向的Transformers进行预训练，以生成深层的双向语言表征。利用Next Sentence Prediction任务学习句子级别信息进一步完善

E. 深度学习 — Transformer概述应用场景LanguageImage语音生成笔迹语音生成图片字幕生成Seq2Seq（Transformer）概述seq2seq属于encoder-decoder结构的一种，这里看看常见的encoder-decoder结构，基本思想就是利用两个RNN，一个RNN作为encoder，另一个RNN作为decoder。encoder负责将输入序列压缩成指定长度的向量，这个向量就可以看成是这个序列的语义，这个过程称为编码。decod

D. 深度学习 — 图神经网络概述任务分类分类链接预测聚类图生成可视化图嵌入概述真实的图（网络）往往是高维、难以处理的，20世纪初，研究人员发明了图形嵌入算法，作为降维技术的一部分。挑战属性选择节点的“良好”向量表示应保留图的结构和单个节点之间的连接。第一个挑战是选择嵌入应该保留的图形属性。考虑到图中所定义的距离度量和属性过多，这种选择可能很困难，性能可能取决于实际的应用场景。可扩展性大多数真实网络都很大，包含大量节点和边。嵌入方法应具有可扩展性，能

D. 深度学习 — 递归神经网络数据缓存Elman Network：缓存的是 hidden layer 的值Jordan Network：缓存的是 output layer 的值网络结构RNN问题：Total Loss是波动的，不是平滑下降的原因参数（Weight）对Total Loss 是陡峭的解决思路Clipping，针对权重设置上限Bidirectional RNNLong Short-term Memory（LSTM）input输入值输

C. 深度学习 — 基础组件概述(三) — 编码器概述概述其独特之处是输入层和输出层的单元数目相等；在功能上，自编码器的目的不是根据输入来预测输出，而是重建网络输入组成结构编码映射解码映射自编码器类型欠完备（undercomplete）的自编码器过度完备的自编码器栈式自编码器步骤无监督预训练有监督微调稀疏自编码器去噪编码器收缩自编码器变分自编码器基本模型X数据 -> nn -> hidden layer -> nn

C. 深度学习 — 基础组件概述(二)DropoutDropout简介Dropout出现的原因Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果什么是Dropout我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征Dropout工作流程及使用Dropout具体工作流程首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变然后把输入x通过修改后的网络前向传播，

B. 深度学习 — 模型压缩概述问题环境多种多样，有些环境资源有限：比如手 手表等计算有限、内存有限Network Pruning（网络调参）步骤有一个大型的网络评估网络参数的重要性重要性评估权重越接近0，表示越不重要sum of L1/L2 norm问题方差太小不在0附近FPGM移除接近几何中心的neuralNetwork SlimmingAPoZ看激活函数的输出是不是0看Gradient的大小移除不重要的weigh

A. 激活函数 激活函数分类 Sigmoid函数 优点 便于求导的平滑函数 缺点 容易出现gradient vanishing 函数输出并不是zero-centered 幂运算相对来讲比较耗时 tanh函数 它解决了zero-centered的输出问题，然而，gradient vanishing的问题和幂运算的问题仍然存在。 R...

C. 卷积神经网络 概述 描述 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。 第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将...

A. 神经网络概述 理论基础 神经生理学 思维过程是神经元的连接活动过程，由大量突触相互动态联系着的众多神经元协同作用来实现； 大脑的思维源于从神经元到神经网络再到神经回路的功能逐级整合； 大脑对信息的加工可以理解为复杂的多次特征提取过程； 在大脑中，数据的传输和处理是同步进行的。 认知科学 简介 历史 神经活动中思想内在性的逻辑演算：神经元的表示...