weixin_42715369-CSDN博客

转载一个快速完整的教程，以保存和恢复Tensorflow模型

在本教程中，我将会解释： TensorFlow模型是什么样的？如何保存TensorFlow模型？如何恢复预测/转移学习的TensorFlow模型？如何使用导入的预先训练的模型进行微调和修改?这个教程假设你已经对神经网络有了一定的了解。如果不了解的话请查阅相关资料。1. 什么是TensorFlow模型？训练了一个神经网络之后，我们希望保存它以便将来使用。那么什么是...

2018-07-22 13:58:48 219

转载《Attention is All You Need》浅读（简介+代码）

https://kexue.fm/archives/47652017年中，有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》，它们都算是Seq2Seq上的创新，本质上来说，都是抛弃了RNN结构来做Seq2Seq任务。这篇...

2018-07-17 11:53:27 1526

转载变分自编码器（三）：这样做为什么能成？

https://kexue.fm/archives/5383话说我觉得我自己最近写文章都喜欢长篇大论了，而且扎堆地来～之前连续写了三篇关于Capsule的介绍，这次轮到VAE了，本文是VAE的第三篇探索，说不准还会有第四篇～不管怎么样，数量不重要，重要的是能把问题都想清楚。尤其是对于VAE这种新奇的建模思维来说，更加值得细细地抠。这次我们要关心的一个问题是：VAE为什么能成？估计看VA...

2018-07-17 11:46:00 874

转载变分自编码器（二）：从贝叶斯观点出发

https://kexue.fm/archives/5343源起 ↺前几天写了博文《变分自编码器（一）：原来是这么一回事》，从一种比较通俗的观点来理解变分自编码器（VAE），在那篇文章的视角中，VAE跟普通的自编码器差别不大，无非是多加了噪声并对噪声做了约束。然而，当初我想要弄懂VAE的初衷，是想看看究竟贝叶斯学派的概率图模型究竟是如何与深度学习结合来发挥作用的，如果仅仅是得到一个通俗的理...

2018-07-17 11:44:57 611

前几日写了一篇VAE的通俗解读，也得到了一些读者的认可。然而，你是否厌倦了每次介绍都只有一个MNIST级别的demo？不要急，这就给大家带来一个更经典的VAE玩具：机器人作诗。为什么说“更经典”呢？前一篇文章我们说过用VAE生成的图像相比GAN生成的图像会偏模糊，也就是在图像这一“仗”上，VAE是劣势。然而，在文本生成这一块上，VAE却漂亮地胜出了。这是因为GAN希望把判别器（度量）也直接训练...

2018-07-17 11:37:31 2505

转载变分自编码器（一）：原来是这么一回事

https://kexue.fm/archives/5253过去虽然没有细看，但印象里一直觉得变分自编码器（Variational Auto-Encoder，VAE）是个好东西。于是趁着最近看概率图模型的三分钟热度，我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料，无一例外发现都很含糊，主要的感觉是公式写了一大通，还是迷迷糊糊的，最后好不容易觉得看懂了，再去看看实现的代码，又感觉实现代码跟...

2018-07-17 11:36:00 14648 4

转载基于CNN的阅读理解式问答模型：DGCNN

早在年初的《Attention is All You Need》的介绍文章中就已经承诺过会分享CNN在NLP中的使用心得，然而一直不得其便。这几天终于下定决心来整理一下相关的内容了。背景 ↺事不宜迟，先来介绍一下模型的基本情况。模型特点 ↺本模型——我称之为DGCNN——是基于CNN和简单的Attention的模型，由于没有用到RNN结构，因此速度相当快，而且是专门为这种WebQA...

2018-07-17 11:32:42 5349

转载深度学习解决NLP问题：语义相似度计算

在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。1. 背景以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在两个方面：...

2018-07-17 11:22:03 1942

转载 2017年语义理解总结(二)

前面的博客进行了总述，这篇博客细化深入，主要结合知识图谱，KB_QA，语义表示的丰富性方面来论述，但是仍然会很宽泛，因为讲具体的技术细节，会有很多人蒙圈的，没有太大意义。前面提到，语义理解，一方面要获取丰富，灵活的语义表示，另一方面要与知识图谱融合。要想获取精准的语义理解，比如谁是第一个为纸牌屋里的xx角色配音的人？这类问题的回答，在前面的基础上还要融合语言的逻辑，语言的逻辑一般分为五类：一元...

2018-07-17 11:17:48 286

转载 2017年语义理解总结(一)

2017年语义理解总结(一) 2017年就这么悄无声息地过去了。在工业界，2016年是推荐的元年，2017年是中国的AI元年，这意味着路漫漫其修远兮~，而学术界永远会超前于工业界，有些时候难免也会有些一厢情愿……这些线索表明：①AI的发展非常迅速②学术界和工业界不同步的现象是共存的。过去的一年在nlp领域里，知识图谱的发展是最为耀眼的，最为尴尬的仍然是chatbot的多轮对话。知识图谱底层...

2018-07-17 11:16:52 1107

转载自然语言处理中的自注意力机制（Self-attention Mechanism）

自然语言处理中的自注意力机制（Self-attention Mechanism）近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出...

2018-07-17 11:04:45 3826

42715369的博客