迷雾总会解

本章学习另一种结构化学习的方法—序列标注。也是结构化学习的最后一块内容！主要讲到了HMM，CRF，以及对前面学习的结构化支持向量机，结构化SVM在序列生成里面的应用！

本篇文章主要讲的是结构化的SVM，并且对结构化里面的一些基本理论和概念做一些基本介绍。根据这些概念，我们可以深刻的理解结构化的思想！以及对结构化SVM的基本认识！

在结构化学习中，线性模型是一个很重要的模型，我们接下来的内容很多都是基于线性模型来说的

本文是结构化学习的开端，简单介绍一下结构化学习的概念以及要解决的三个问题！

支持向量机(SVM)有两个特点：SVM=铰链损失(Hinge Loss)+核技巧(Kernel Method)。本文就这两个特点的原理进行深度剖析！

Ensemble的方法就是一种团队合作，好几个模型一起上的方法。本文主要介绍的方法有：Bagging,Random Forest,Boostring,Adaboost,Gradient Boosting,Stacking

Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构，它主要包含一个编码器（Encoder）和一个解码器（Decoder），通常它们使用的都是神经网络。Encoder接收一张图像（或是其他类型的数据，这里以图像为例）输出一个vector，它也可称为Embedding、Latent Representation或Latent code，不管它叫什么，我们只需要知道它是关

Imitation learning(模仿学习) 讨论的问题是：假设我们连 reward 都没有，那要怎么办呢？Imitation learning 又叫做 learning from demonstration(示范学习) ，apprenticeship learning(学徒学习)，learning by watching(观察学习)

实际上用 reinforcement learning learn agent 的时候，多数的时候 agent 都是没有办法得到 reward 的。在没有办法得到 reward 的情况下，训练 agent 是非常困难的。我们可以通过三个方向来解决 sparse reward 的问题：Reward Shaping,Curriculum Learning,Hierarchical Rl。

演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法。在 Actor-Critic 算法 里面，最知名的方法就是 A3C(Asynchronous Advantage Actor-Critic)。

Q-learning 有什么问题呢？最大的问题是它不太容易处理 continuous action。很多时候 action 是 continuous 的。本文章会详细介绍解决问题的四种方法！

本片文章要讲的是训练 Q-learning 的一些 tips：Double DQN，Dueling DQN，Prioritized Reply，Multi-step(Balance between MC and TD)，Noisy Net(on Action vs on Q-function)，Distributional Q-function，Rainbow

Q-learning 是 value-based 的方法。在 value-based 的方法里面，我们学习的不是策略，我们要学习的是一个 critic(评论家)。 critic要做的事情是评价现在的行为有多好或是有多不好。假设有一个actor(演员) π，critic就是来评价这个actor的策略 π 好还是不好，即 Policy Evaluation(策略评估)。

Proximal Policy Optimization，简称PPO，即近端策略优化，是对Policy Graident，即策略梯度的一种改进算法。PPO的核心精神在于，通过一种被称之为Importance Sampling的方法，将Policy Gradient中On-policy的训练过程转化为Off-policy，即从在线学习转化为离线学习，某种意义上与基于值迭代算法中的Experience Replay有异曲同工之处。通过这个改进，训练速度与效果在实验上相较于Policy Gradient具有明显提

2015年2月的时候，google在nature上发了一篇用reinforcement learning 的方法来玩akari的小游戏，然后痛鞭人类2016的春天，又有大家都耳熟能详的alpha go，也是可以痛鞭人类David Silver 说 AI 就是 Reinforcement Learning+Deep Learning Deep Reinforcement Learning : AI = RL + DL

我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。

我们有一个更疯狂的想法，能不能直接learn一个function，这个function既做了Learning，又做了Prediction。给它Training Data，它就learn好了；给它Testing Data，它就给出Testing Data的答案！

上次说到meta learning是在训练一个learning algorithm。使用的方法是梯度下降，这次我们研究如何将这个learning algorithm看作是一个LSTM，我们通过训练这个LSTM网络来实现我们的meta learning。

元学习，meta-learning，又叫learning to learn，直译即为学习如何学习，从中文字面上来理解，似乎这类算法更接近人类的学习方式——触类旁通，举一反三。而传统的深度学习方法虽然功力强大，但是框架无外乎都是从头开始学习（训练），即learning from scratch，对算力和时间都是更大的消耗和考验。

迁移学习指的就是，假设你手上有一些跟你现在要进行的task没有直接相关的data，那你能不能用这些没有直接相关的data来帮助我们做一些什么事情。比如说：你现在做的是猫跟狗的classifer，那所谓没有什么直接相关的data是什么意思呢？没有什么直接相关其实是有很多不同的可能。比如说input distribution 是类似的(一样时动物的图片)，但是你的label是无关的(domain是类似的，task是不像的)。还有另外的一个可能是：input domain是不同的，但是task是相同的(猫跟狗的分

本文是GAN的最后一块内容，就是如何Evaluation一个GAN模型。说人话：如何评价GAN生成的图片好还不好。另外一个方面是：是否客观，因为虽然人评价结果比较准确，但是人容易受主观影响，尤其发在论文上的图片，作者肯定不会把很烂的结果摆出来。

这篇文章主要是说Improving Sequence Generation by GAN，讲GAN在sequence generator上的应用。sequence generator的应用很多，比如机器翻译，人机对话，甚至强化学习也算是sequence generator。使用GAN进行sequence generator主要有两大部分，分别是Conditional Sequence Generation 和Unsupervised Conditional Sequenc

本文主要是介绍基于GAN+Autoencoder来进行智能修图。还简单介绍了高清图片处理以及图像补全技术

本节主要介绍InfoGAN，VAE-GAN，BiGAN和Triple GAN，可以用于做feature extraction。还介绍了Domain-adversarial training,Voice Conversion(声音转换)以及Feature Disentangle(特征解耦)。

这篇文章要说的是对传统的GAN进行的一些优化，为了使GAN更容易训练。比如WGAN，它在原始的GAN上面做了几点改动，成功地提升了原始GAN的表现。还有WGAN-GP，EBGAN和LSGAN。

之前在讲GAN的时候，提到我们实际是在用Discriminator来衡量两个数据的分布之间的JS divergence，那能不能是其他类型的divergence来衡量真实数据和生成数据之间的差距？又如何进行衡量？（虽然在实作上用不同divergence结果没有很大差别）

之前讲的那篇CGAN都是有监督学习，那能不能无监督学习呢？当然可以啦，大多数情况我们很难弄到一个个对应匹配的数据，比如做图片风格转换，你很难弄到同一个图片的不同种风格，里面东西还是一模一样的，再比如，你很难把一个人的声音风格转换到另外一个人声音上，因为可能你说的是中文，另外一个人说英文，找不到一模一样的发音，所以我们需要研究无监督学习，只需要两堆数据，可将某种特征从一堆转到另一堆。

Conditional，意思是条件，所以 Conditional GAN 的意思就是有条件的GAN。Conditional GAN 可以让 GAN 产生的结果符合一定的条件，即可以通过人为改变输入的向量（记不记得我们让生成器生成结果需要输入一个低维向量），控制最终输出的结果。

生成式对抗网络（Generative Adversarial Network，又称GAN，一般读作“干！”）计算机科学领域里是一项非常年轻的技术，2014年才由伊安·好伙伴教授（Ian Goodfellow，这姓氏实在是太有趣以至于印象深刻）系统地提出。但是一经提出，就引发了学术界对GAN如火如荼的研究，同时在最原始的GAN的基础上，针对不同的应用场景提出了许多GAN的变体。使用GAN网络，输入已知数据，计算机可以学习并创建全新的合成数据。Facebook AI部长Yann LeCun对GAN的评价是"Ge

生成式对抗网络（Generative Adversarial Network，又称GAN，一般读作“干！”）计算机科学领域里是一项非常年轻的技术，2014年才由伊安·好伙伴教授（Ian Goodfellow，这姓氏实在是太有趣以至于印象深刻）系统地提出。但是一经提出，就引发了学术界对GAN如火如荼的研究，同时在最原始的GAN的基础上，针对不同的应用场景提出了许多GAN的变体。使用GAN网络，输入已知数据，计算机可以学习并创建全新的合成数据。Facebook AI部长Yann LeCun对GAN的评价是"Ge

Anomaly Detection，翻译为中文意思是异常侦测，异常侦测要做的就是：让机器可以知道我不知道这件事。上面引用了《论语，论证》篇，“知之为知之，不知为不知，是知也（知道就是知道，不知道就是不知道，这样才是真正的知道）”，就是让机器知道它不知道这件事

ELMO、BERT、GPT背景机器是如何理解我们的文字的呢？最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。所以，接下来有了word class的概念，举例说dog、cat和bird都是动物，它们应该是同类。但是动物之间也是有区别的，如dog和cat是哺乳类动物，和鸟类还是有些区别的。后来有了更进阶的想法，称作word embedding，我们用一个向量来表示一个单.

Transformer的Decoder的输入输出都是什么？Shifted Right到底是什么？Transformer里decoder为什么还需要seq mask？

文章目录Recursive NetworkApplication: Sentiment Analysis(应用：情节分析)Recursive NetworkRecursive Network Tensor NetworkMatrix-Vector Recursive Network.Tree LSTMMore Application(更多应用：句子关联)Recursive NetworkApplication: Sentiment Analysis(应用：情节分析)Recursive Network

文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用：文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用：机器翻译)Applications-Chat-bot(应用：对话)总结参考文献Pointer Network简介问题

文章目录GenerationConditional GenerationAttentionDynamic Conditional GenerationMachine TranslationSpeech RecognitionImage Caption Generation（图片字幕生成）Memory Network(在Memory上做attention)Neural Turing Machine(神经图灵机)Tips for GenerationAttention的正则化Mismatch between T

文章目录Network Pruning（修剪）INTRODUCTIONWhy PruningLottery Ticket Hypothesis(大乐透假说)Rethinking the Value of Network PruningPractical IssueKnowledge Distillation(知识蒸馏)Student and TeacherEnsemble（合奏）TemperatureParameter Quantization（参数量化）less bitsweight clustering

神经网络不仅是要用在研究上，最后更多的肯定要在各种有意义的应用中。因此model仅仅是对杂讯(噪声)robust和大部分时间work是不够的，还要去对抗恶意攻击(注意，这里不是说仅仅是对抗杂讯，而是所谓的，不暴露出弱点)。即使是垃圾邮件识别，人脸识别这种最基础广泛的领域，也存在着大量的攻击对抗。因此，对这方面的研究是十分重要的。

所谓的可解释性其实也分为两种，一种是局部可解释性，一般指的是机器说明如何判断这个样例(例如分类问题中，机器如何将一张猫的图片分成猫)；另一种是全局可解释性，一般指的是机器如何对总体进行特征判断(例如分类问题中，机器认为猫长什么样子)为什么我们需要这种可解释性呢？神经网络一般都是黑盒算法这确实，但并不是黑盒本身让我们难受，因为我们人的大脑也是个黑盒；而是如果我们没有一定的解释的话，我们可能会不爽。就例如一个神经网络来计算成绩，如果你分低还不知道为什么，那绝对会不爽，而如果机器能够解释每道题扣了多少分这种等