ZerinHwang

shortcomings of the original GAN 1.Evaluation original GAN的Loss Funtion表示，D实际上是在对P_data和P_G之间做一个JSD的衡量，也就是说，在学习训练D的过程，也就是在衡量给定的G所对应的分布P_G与真实数据所处的分布P_data之间的JS divergence。也正如前述，GAN和VAE使用了相同的架构，但是二者的区...

在GAN出现之前… 假设真实的data服从P_data，并且现在拥有属于这个分布的一些样本，但是这个P_data我们是无从得知的，但是我们希望可以得到一个崭新的同样属于这个分布的data。所以我们就对这个分布建立模型，其对应着分布P_G，希望这个P_G能够尽可能地逼近P_data，由于这个P_G是我们自己建立的，所以这个模型或者说P_G对我们而言必然是可知的。那么此时只要P_G能够尽可能地逼近P...

关于CNN可视化： 卷积核filter可视化 feature map可视化 卷积核filter可视化 <1>借助反向decode的过程实现filter可视化 所谓filter可视化，不是简单的从filter的weights和biases从看出filter的样子，而是应该从filter的机制出发，去理解filter到底“看到了什么内容，``想看到什么内容``” 对于CN...

原文：https://www.cnblogs.com/guoyaohua/p/8724433.html Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch...

全连接层神经网络与卷积神经网络 全连接层神经网络相比于卷积神经网络存在的问题：因为全连接，所以当相互连接的节点个数增加时，节点之间的边个数会很多，而一条边对应着一个参数，所以全连接层在神经网络节点个数多的时候会存在参数很多的情况。而对于神经网络参数过多带来的影响有在计算上的，也有在模型的拟合程度的。当参数增加，模型容量增加，就容易出现过拟合的情况。所以卷积神经网络能很好地解决这个参数过多的问题。...

卷积神经网络的配置设计 参考原文：《Tensorflow实战Google深度学习框架》 一般卷积层的滤波器边长不会超过5，但是有些卷积神经网络结构中，处理输入的卷积层中使用了边长为7甚至超过11的滤波器。 在过滤器的深度上，大部分卷积神经网络都采用逐层递增的方式。一些模型中，每经过一次池化层后，卷积层滤波器的深度会乘以2，虽然不同模型会选择使用不同的具体的数字，但是逐层递增是比较普通的模式。...

迁移学习 迁移学习引出的原因：实际上学习模型的训练是很依赖于1.数据集，包括数据本身以及数据的标注2.训练的时间成本，很多模型很大参数很多，同时拥有足够多的数据集，这样对于模型本身的训练也是很耗费时间和计算成本的 所谓迁移学习，就是将在某一个问题上已经训练好了的模型（针对某个问题进行模型的训练得到一个能解决这个问题的模型），通过对这个已经训练好的模型进行调整，得到一个能适用于新的问题，即能解决...

##Loss Function ###什么是损失函数，损失函数的意义 应用于Supervised Learning Algorithms 中，用于衡量所学习的模型对待预测的输入样本的预测能力。 ###损失函数的构成 －只考虑数据上的损失： L ＝ 1／N * sigma_i L_i(W;x^i,y^i); 其中，L_i为根据不同的方法来对训练样本进过模型得到的预测结果和训练样本本身带有...

##非参数化学习（数据驱动型学习）和参数化学习 ###数据驱动型学习 整个学习算法依赖的是训练集中的数据样本。典型代表：KNN。即通过对比带预测样本与训练集中的样本的“距离”或者某种度量，来实现分类的功能。在这种算法中，每次的样本预测是依赖和训练集中样本的比对得到的，可以理解为并没有一个真正的模型，而是纯粹地依赖训练集中的数据样本。 ###参数化学习 关注的是模型的参数，即以模型的参数作为...

引言 人工智能 人工智能的挑战在于解决那些对于人来说很容易执行，但是难以形式化描述的任务。 为了解决这个难题，曾经提出过知识库的方法：将各种知识用形式化的语言进行硬编码，再使用逻辑推理规则去将这些用抽象语言描述的任务转化为用形式化语言描述的任务，从而容易使用计算机来解决。也就是对抽象的语言所描述的内容、知识进行编码，再根据逻辑规则去解释这个抽象语言所描述的内容，将其转化为形式化的语言所描述的内容。...