2020年09月_谢杨易

原创机器学习17 -- GAN 生成对抗网络

1 什么是GAN1.1 组成部分：生成器和判别器GAN诞生于2014年，由深度学习三巨头之一的Bengio团队提出。是目前为止机器学习中最令人兴奋的技术之一。目前有几百种不同构架的GAN，论文也是非常非常多，可见研究有多么热门。论文信息：2014.06，Bengio团队论文地址：Generative Adversarial NetworksGitHub地址：https://github.com/goodfeli/adversarialGAN利用Generator和Discr.

2020-09-15 17:14:01 21190 6

原创机器学习16 -- Lifelong Learning 终生学习

1 什么是lifelong learningLifelong learning终生学习，又名continuous learning，increment learning，never ending learning。通常机器学习中，单个模型只解决单个或少数几个任务。对于新的任务，我们一般重新训练新的模型。而LifeLong learning，则先在task1上使用一个模型，然后在task2上仍然使用这个模型，一直到task n。Lifelong learning探讨的问题是，一个模型能否在很多个task上

2020-09-14 18:36:54 17525 5

原创机器学习15 -- Meta Learning 元学习

1 什么是meta learning一般的机器学习任务是，通过训练数据得到一个模型，然后在测试数据上进行验证。一般来说我们仅关注模型在该任务上的表现。而meta learning则探讨解决另一个问题，就是我们能否通过学习不同的任务，从而让机器学会如何去学习呢？也就是learn to learn。我们关注的不再是模型在某个任务上的表现，而是模型在多个任务上学习的能力。试想一下机器学习了100个任务，他在第101个任务上一般就可以学的更好。比如机器学习了图像分类、语音识别、推荐排序等任务后，在文本分类上

2020-09-14 15:43:45 16165 4

原创机器学习14 -- Transfer Learning 迁移学习

1 总览迁移学习的目标，是利用一些不相关的数据，来提升目标任务。不相关主要包括task不相关。比如一个为猫狗分类器，一个为老虎狮子分类器 data不相关。比如都为猫狗分类器，但一个来自真实的猫和狗照片，另一个为卡通的猫和狗迁移学习中包括两部分数据source data。和目标任务不直接相关，labeled或unlabeled数据一般比较容易获取，数据量很大。可以利用一些公开数据集，比如ImageNet。又比如在机器翻译任务中，中译英数据量很大，可以作为source data target

2020-09-13 18:47:49 13438 2

原创机器学习13 -- 无监督学习之自监督 self-supervised

1 为什么要自监督学习 self-supervised learning自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，

2020-09-12 18:55:58 16846 7

原创机器学习12 -- 无监督学习之线性模型（clustering、PCA、MF）

1 无监督学习总览我们都知道，有监督数据是十分宝贵的。一般来说我们获取data很容易，但获取label却比较困难。因此，无监督学习在机器学习中十分关键。如何利用好大量的无监督数据，对于业务冷启动和持续迭代运行，都至关重要。无监督学习大致分为化繁为简。又包括聚类，将无监督数据合并为一个个cluster。cluster内数据相似，cluster间数据不相似。降维，特征提取。对无监督数据，比如图像、文本，提取特征。比如PCA、Auto-Encoder、MF 无中生有，主要就是各种生成模

2020-09-12 14:40:45 13640 2

原创机器学习11 -- 无监督学习之Auto-Encoder

1 什么是Auto-Encoder自编码器Auto-Encoder是无监督学习的一种方式，可以用来做降维、特征提取等。它包括两部分Encoder：对原始样本进行编码 Decoder：对经过编码后的向量，进行解码，从而还原原始样本如下图所示，对原始图片，先经过Encoder，编码为一个低维向量。然后利用这个低维向量，经过decoder，还原为原始图片。单独训练encoder和decoder，都是无法做到的。但把它们联合起来训练，是可以得到encoder和decoder的。1.1 deep

2020-09-12 11:23:10 16555 4

原创机器学习10 -- 半监督学习 Semi-supervised Learning

1 为什么要做半监督学习有监督机器学习已经在很多领域证明了它的有效性，比如ImageNet图像分类任务，深度学习模型早在2017年，准确率就已经超过了人类。机器学习被认为是一门数据驱动的学科，数据分为两部分，data和label。通常情况下，data是比较容易获取的，而label需要标注，要珍贵很多。比如对于图像分类任务，网络上有成千上万的图片数据，但他们大多数都是没有label标注的。通常情况下，我们可以进行一小部分数据的标注，形成有监督数据，然后再利用好其他未标注数据。这种方法称为半监督学习。半

2020-09-11 18:27:13 19424 4

原创机器学习9 -- 模型压缩和加速

1 背景近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题。直接将模型部署到移动端，并在置信度较高情况下直接返回结果，而不需要请求服务端，可以大大节省服务端计算资源。同时

2020-09-09 19:32:06 15345 1

原创机器学习8 -- 模型攻防（model attack & model defense）

1 什么是模型攻防1.1 攻防定义我们在平常的深度学习模型开发中，一般关注的重点在模型指标上，比如ACC、F1、Bleu等。但其实还有另一方面需要注意，那就是模型攻防，特别是在人脸识别等安全领域。什么是模型攻击（model attack）呢？以图片分类为例，如下图。原始图片经过分类模型，可以正确识别是tiger cat。我们在图片上加入某些一定分布的噪声后，模型可能就会把它错误识别为其他类别，比如keyboard。1.2 攻击条件模型攻击必须满足两个条件在原始图片上加入一定噪音，通过

2020-09-09 17:52:58 16171 2

原创机器学习7 -- 可解释学习

1 为什么需要可解释学习可解释学习是一个比较大的话题，本文也仅仅是抛砖引玉。深度学习大多数情况下，我们关注的都是模型的指标，如ACC、F1、Bleu等，一般较少关注模型的可解释性。深度学习模型是一个黑盒，模型结构和参数调整很多时候也是摸着石头过河，给模型可解释性带来了很大难题。什么是模型可解释性呢？它一般分为两类情况local explanation，为什么这个样本被预测为某个类别。比如为什么imageNet的这张图片会被预测为猫？我们需要弄清楚图片中哪些关键像素和区域，能够很大程度决定分类类别。g

2020-09-01 10:45:03 13213 1

谢杨易的博客