- 博客(23)
- 收藏
- 关注
RSS订阅原创 元子弹老师-吉他指弹左手技巧
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！无头滑音：没有头的滑音（不知道从几品开始滑到几品）无尾滑音：没有尾的滑音（手慢慢松开）上坡：低档位到高档位下坡：高档位到低档位抹弦：以左手食指为半径的扫弦点弦：左手在指板上直接按下去幽灵音：轻轻的弹或者不弹小颤音：左右大颤音：上下...
2022-05-19 19:22:39
278
原创 李宏毅老师-概述领域自适应
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！举一个例子，手写数字识别但是假设训练资料和测试资料的分布不一样怎么办呢?比如说训练的时候是黑白的，测试的时候是彩色的一旦训练和测试分布不一样，那么在测试data上可能坏掉那么，这种情况就叫做domain shift相应的，我们就有一门技术来弥补这个不足，那就是domain adaptation把一个domain（训练）学到的东西用在另一个domain（测试）上domain shift有很多种可能下
2022-05-19 10:50:55
608
原创 李宏毅老师-来自人类的恶意攻击 Part2
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！上一章我们学习的是white Box，这一章我们继续学习black boxwhite box：知道模型参数的attack我们如果用力保护好我们的模型不被他人得知，那么它真的安全吗？不一定的，还有black boxblack box attack：不知道model参数是什么我们可以通过同一组训练集来训练一个network proxy，来模拟network black从而通过攻击network proxy观察，
2022-05-18 10:12:41
195
原创 李宏毅老师-来自人类的恶意攻击 Part1
我们之前已经训练了很多类神经网络把类神经网络应用到现实世界中，正确率高够用吗？其实不然，类神经网络还需要应对人类恶意的攻击所以，我们希望我们的类神经网络不仅要正确率高，还要应对来自人类恶意的攻击接下来，我们看一个attack的例子。在这里，我们给图片加了一点杂讯放入Network Classifier中让它输出其他东西attack分为2种：1.Non-targeted 2.Targeted为了让我们能够看到这两张照片的差异，我们经过处理后放大50x或许，你可能会说cat
2022-05-17 10:31:46
221
原创 李宏毅老师-机器学习的可解释性 Part2
我们接着来学习Global explanation通俗来讲，就是让模型知道一只猫应该长什么样子。假设已经训练好一个CNN，将一张图片X经过Convolution层之后，得到一个feature map。以filter1为例，通过filter1得到的feature map中大的值可以理解为filter1检测到的该图片的主要特征（pattern）。现在我们想知道，对于任意一张图片，filter1想要看的pattern到底长什么样的。所以我们要创造一张图片，这张图片包含filter1所要detec
2022-05-16 11:02:18
241
原创 李宏毅老师-机器学习的可解释性 Part1
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！我们除了要知道答案之外，还要让机器给我们一个答案的理由，这就是Explainable machine 那为什么我们需要Explainable ML呢？神马：当旁边有人围观的时候，它就能根据身边人的反应，通过剁马蹄来计算数学问题而当没有人围观的时候，它就计算不出来decision tree：有很多节点，每个节点都有一个问题，决定向左向右，走到末尾做出最终决定但是，decision tree就是
2022-05-16 10:00:52
279
原创 李宏毅老师-自编码器（Auto-encoder）Part2
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！我们接着来学习一下Feature DisentanglementFeature Disentanglement：把一些本来纠缠在一起的东西解开这些经过Encoder的咨讯（比如文章的内容与字法等）全部纠缠在一起，我们并不知道这个向量的哪些维代表哪个咨讯而Feature Disentanglement技术可以解决这个问题的比如能不能前50维代表语音内容，后面的代表说话者的讯息那么，Feature Dise
2022-05-10 17:56:03
154
原创 李宏毅老师-自编码器（Auto-encoder）Part1
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！AUTO-ENCODER也可以算是self-supervised learning的一环那么，接下来，我们来学习一下Auto-encoder是如何运作的？Auto-encoder包括两个network一个是NN Encoder，一个是NN Decoder将输入的高维度特征通过Encoder弄成低维度的向量，向量再通过Decoder转成新特征，输入输出越像越好。那怎么把train完的Auto-encoder用
2022-05-10 10:37:03
233
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part4
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！我们前面说Bert做的事情是填空题而GPT做的任务就是预测接下来会出现的token是什么例如有笔训练资料是台湾大学，那么输入BOS后训练输出是台，再将台作为输入训练输出是湾（预测台的时候不会看到湾，预测湾不会看到大等），以此类推即可模型输出embedding h，h再经过linear transform（线性变换)和softmax后，计算输出分布与正确答案之间的cross entropy，希望越小越好（其实和
2022-05-08 14:40:07
542
1
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part3
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！那么，为什么我们要先做BERT工作呢？越相近的字产生的向量越接近，如果与草、鸟与鱼等同时，BERT会根据上下文，不同语义的同一个字会产生不同的向量看看下图的例子，同一个果字对应的向量会不一样有两堆苹果一堆是吃的苹果（5个）一堆是苹果模型（5个）那么我们就可以发现，前5个果相似度高，前5个跟后5个相似度就低所以，BERT输出的向量代表了那个词的意思。可以在接下来的任务做的更好那为什么BER
2022-05-08 14:17:22
517
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part2
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！我们先来学习Bert这个model什么是Self-supervised Learning呢？supervised：比如说现在输入一篇文章，判断它是正面还是负面文章我们就需要文章和label（它是正面还是负面）才能够进行trainself-supervised：在没有label的情况下，自己想办法做supervised假设现在只有一堆文章，没有标注想办法让一部分文章作为model的输入，另一部分作为label
2022-05-08 11:21:24
330
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part1
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！self-supervised与芝麻街人物有着密切联系李宏毅老师讲这堂课的时候还穿着芝麻街的T恤（respect）你可能以为Bert足够大了但是 see next接下来，我们将学习BERT和GPT series从而知道self-supervised model做的事情是什么...
2022-05-08 09:44:53
321
原创 李宏毅老师-生成式对抗网络（GAN）Part4
Unpaired data：x与y的不是配对的那么，我们现在遇到一个更加艰难的情况，假如没有一点成对的资料，那该怎么办呢？那在这种情况下，还有没有办法训练一个network，input x，output y呢？这就是GAN可以帮我们做的事情那有没有办法做这件事情呢（输入一张人脸，输出二次元图片）乍听，好像也没有很难和原理的GAN训练一样，换一个sample方法即可可能这么简单吗？答案是不可能的输出y domain的图片可能忽略x输出一个像是二次元做的图片，Discri.
2022-05-06 17:35:22
199
原创 李宏毅老师-生成式对抗网络（GAN）Part3
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！但是，关于GAN train的挑战还在继续Generator和Discriminator只要其中一者停下来或者发生错误，那么另外一者也会失败的GAN生成一段文字是最困难的Decoder调整参数想办法让Discriminator产生的score最高但是你会发现，做不到 大家都知道微分的时候是，某一个参数改变了，会影响output，从而更新该参数当Decoder参数发生微小变化的时候，分数最大的那个toke
2022-05-06 16:49:48
180
原创 李宏毅老师-生成式对抗网络（GAN）Part2
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！接下来，我们就要继续学习GAN的理论知识为什么Generator与Discriminator的互动可以让Generator产生像是真正人脸的图片我们先弄清楚训练的目标到底是什么？就是找一个Generator里面的参数来使G*越小越好但是如何计算divergence呢？因为这些divergence用在distribution上面要做几乎不知道怎么算的积分，我们不能算出divergence这就是GEN所遇到的问题
2022-05-06 11:44:05
139
原创 李宏毅老师-生成式对抗网络（GAN）Part1
慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！我们以前学习到的network可以输出一个数值、类别等接下来，我们要接触一些新的主题**network as Generator**以前是input只有x，现在我们加入进来一个z，这个z是从某一个distribution simple出来的我们要input x与z 才能输出y，那network怎么同时接受x与z呢 有很多方法，比如x与z都是向量可以接起来或者维度相同的话相加当做inputz特别的地方是不固定
2022-05-06 10:25:18
478
原创 李宏毅老师-transformer part2
慢慢来，会更好！接下里，我们接着transformer part1，来继续学习DecoderDecoder有两种，我们会花很多时间来学习ATDecoder要做的事情就是把Encoder的输出读进去，至于怎么读进去，等一下见分晓Decoder如何产生一段文字呢？首先，要有一个特殊的符号BEGIN，是一个special Token，多加一个特殊的字，代表了开始这个事情（每一个 Token,都可以把它用一个 One-Hot 的 Vector 来表示,One-Hot Vector 其中一维是 1
2022-05-05 21:15:32
168
原创 李宏毅老师-transformer part1
transformerTransformer是一个sequence to sequence（seq2seq）的模型输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。对于这些语言，根本就没有办法做语音辨识。但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？一个很好的
2022-05-05 11:23:23
143
原创 李宏毅老师-GNN Part1
慢慢来，会做到更好！GNN（Graph Neural Networks） part1让我们先了解一下什么是Graph？如下图例子所示，有节点有边的图形可以粗略定义为Graph那么，问题来了我们为什么需要GNN呢？怎么把一个Graph塞入一个neural network呢？我们为什么需要GNN呢？仔细想想，我们是不是忽略了一点重要的情况呢？没错，那就是人物之间的关系！但是又有一些问题发生了我们该怎么用node 的邻居来帮助model做训练呢？下列有两种方法
2022-05-04 22:50:18
348
原创 李宏毅老师深度学习-RNN（part1）
1.Example Application**~Slot Filling** RNN有很多应用，例如订票系统、智慧客服等。假设现在有一个人对系统说 I would like to Taipei on November 2nd。那么系统里面有Destination slot和time of arrival slot要知道Taipei属于Destination slot November 2nd属于time of arrival slot。 这就是slot Filling的作用那么这个问题该如何
2022-05-04 20:50:20
600
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人