深度学习
文章平均质量分 75
taoyafan
这个作者很懒,什么都没留下…
展开
-
总结 of 字节跳动的比赛(Bute Cup2018)——新闻标题生成
目录0、废话1、我们的模型介绍0. 数据预处理1. Seq2Seq + Attention2. + pointer network + coverage3. + temporary attention + policy gradient4. + dropout2、出现的问题1. 分数据集2. 模型保存3. 测试时控制变量3、别人很多值得学习的部分...原创 2018-12-07 19:19:44 · 4431 阅读 · 10 评论 -
ubuntu16.04 安装配置 pyrouge 的方法
1 pyrough 介绍2 安装过程3 其他问题1 pyrough 介绍pyrouge 是一个评估文本匹配程度的工具,可以计算两个文本的 ROUGE 得分。官网地址:pyrouge官方网站,或者github地址不过安装过成就太麻烦了,下面具体介绍安装过程。2 安装过程本文参考 stack overflow 的一个回答:How to install the Pytho...原创 2018-11-14 17:02:37 · 2204 阅读 · 4 评论 -
LSTM参数个数计算
今天看程序看到了LSTM,原理都懂,但是想看看参数的个数是怎么算出来的,先简单介绍下我的网络前两层:(1)第一层是一个 embedding 层,输出是 100 维的。(2)第二层是一个 LSTM 层,输出是 512 维的。LSTM这一层的参数个数是 1255424 个,这一看还有整有零的,好奇怎么算出来的,于是百度搜了下,得到这么一个公式:设 LSTM 输入维度为 x_dim, 输...原创 2018-09-21 16:53:35 · 20083 阅读 · 2 评论 -
李弘毅老师GAN笔记(五),fGAN
这一节课是说明 GAN 不一定用 JS divergence,可以用别的 divergence。理论挺厉害的,但是实作可能没什么用。 目录1 f-divergence 的定义 2 Fenchel Conjugate(共轭)3 fGAN 的作用/GAN 存在的问题3.1 问题1 Mode Collapse3.2 问题2 Model Dropping3.3 解决思路...原创 2018-09-14 15:23:38 · 1638 阅读 · 0 评论 -
李弘毅老师GAN笔记(六),WGAN / EBGAN
1、JS-divergence 的问题在原始 GAN 中,使用的 JS-divergence 存在一些问题,这里介绍其中的一个问题。在图像所在的高维空间中,生成的图像分布和真实图像的分布可能是完全没有重叠的,比如在三维空间举一个例子,可以理解为两者的分布是三维空间中的两个面,那么他们重叠的部分几乎为零。那么这样 JS-divergence 的问题就出现了。 如下图所示,PG0PG0P_{G_...原创 2018-09-17 10:25:00 · 1712 阅读 · 0 评论 -
李弘毅老师GAN笔记(四),GAN 背后的理论
这一节理论推导的课程,证明了 GAN 的可行性,并解释了 GAN 背后的原理。目录1 目标2 推导2.1 极大似然估计2.2 极大似然估计与最小 KL 散度2.3 判别网络3 算法1 目标以二次元图像生成为例,我们的目标是什么呢,从数学角度来说其实就是得到一个函数,输入 x 是一个向量,输出 y 便是生成的图像,其实 y 也是一个向量,满足的分布设为 ,其中 ...原创 2018-08-02 11:40:39 · 1090 阅读 · 0 评论 -
李弘毅老师GAN笔记(三),Unsupervised Conditional GAN
目录0 概述1 直接转换1.1 第一种方法1.2 第二种方法1.3 第三种方法1.4 StarGAN2 基于特征转换2.1 第一种方法2.2 第二种方法 2.3 第三种方法 2.4 第四种方法3 其他应用 0 概述两种方法,如图1所示,方法一是直接转换,方法二是先得到特征再解码。图1 两种方法简介1 直接转换1.1 第一种方法...原创 2018-07-31 15:59:06 · 1958 阅读 · 0 评论 -
李弘毅老师GAN笔记(二),Conditional GAN
本文记录的是李弘毅老师的GAN的第二节课,bilibili视频链接为:https://www.bilibili.com/video/av24011528/?p=2,相关的课程课件链接为:http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/CGAN.pdf目录1 什么是 Condition GAN2 Cond...原创 2018-07-27 00:00:01 · 27364 阅读 · 2 评论 -
李弘毅老师GAN笔记(一),对抗生成网络(GAN)简单介绍
博主最近在上李弘毅老师的GAN的课程,所以写一些博客作为笔记,方便以后回忆。bilibili链接:https://www.bilibili.com/video/av24011528/?spm_id_from=333.338.recommend_report.1,课程的相关学习资料的链接为:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.htm...原创 2018-07-26 00:31:50 · 5286 阅读 · 2 评论 -
C++实现CNN识别手写数字
去年(2017年)参加robomaster时做了一段视觉,为了打大符,其实就是识别手写数字,然后控制云台射击击打制定数字。因为时间有限,而且其他部分代码都是用的C++和opencv写的,所以识别手写数字这部分代码也用C++写了。不过注意,我只写了前向计算的代码,训练的代码我没写,网络是在matlab上训练了,然后自己定义了一种存储格式存在了xml文件中,然后视觉部分的程序就是读取xml文件导入CN...原创 2018-05-26 11:05:19 · 11286 阅读 · 4 评论