深度学习
weixin_39012047
这个作者很懒,什么都没留下…
展开
-
Deep Learning(1)
1.概述Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。 深度学习隶属于机器学习,机器学习已经发展很久,在早些时候没...原创 2018-08-25 22:18:47 · 200 阅读 · 0 评论 -
TextCNN
如上图所示:TextCnn就是利用类似于处理图像的方法,将文本输出组成为矩阵,对文本中语义信息进行学习。 论文中对textcnn的配图 cnn在图像处理方面已经取得了不菲的成就. 将句子分割为单词拼接起来可以将文本拼接为图片的格式。卷积具有局部特征提取的功能, 所以可用 CNN 来提取句子中类似 n-gram 的关键信息. 主要参数:sequence_lengt...原创 2018-09-11 09:24:31 · 1963 阅读 · 2 评论 -
注意力机制学习
如上图所示,人在看一些事物时,往往注意到的地方是不一样的。其中红色区域表明视觉系统更关注的目标,很明显对于图1所示的场景,人们会把注意力更多投入到人的脸部,文本的标题以及文章首句等位置。 1.Encoder-Decoder框架 在语言处理的场景下,上图可以理解为,在给定一些文本的情况下,生成其他的文本的通用架构。如果Source是中文句子,Target是英文句子,那么这...原创 2018-10-18 16:56:11 · 154 阅读 · 0 评论 -
GAN(2)
1.训练GAN的一些技巧1. 输入规范化到(-1,1)之间,最后一层的激活函数使用tanh(BEGAN除外)2. 使用wassertein GAN的损失函数,3. 如果有标签数据的话,尽量使用标签,也有人提出使用反转标签效果很好,另外使用标签平滑,单边标签平滑或者双边标签平滑4. 使用mini-batch norm, 如果不用batch norm 可以使用instance norm...原创 2018-08-24 15:48:48 · 233 阅读 · 0 评论 -
GAN(1)
1.概况 Gan主要包含两个部分,一部分是生成器generator一部分是判别器discriminator。生成器主要用来学习真实图像分布从而让自身生成的图像更加真实,以骗过判别器。判别器则是对接收的图片进行真假判别。整个的过程就是生成器生成的图片越来越真实,判别器判别真实图片的性能更加准确,随着时间的推移,两个模型达到一种平衡。生成器生成的图片接近于真实图片,判别器识别不出来真假图片,对给...原创 2018-08-24 15:17:30 · 4756 阅读 · 0 评论