- 博客(23)
- 收藏
- 关注
RSS订阅原创 元子弹老师-吉他指弹泛音
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 常用的自然泛音点：4 5 7 12 19
2022-05-21 12:45:28
440
原创 元子弹老师-吉他指弹左手技巧
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 无头滑音：没有头的滑音（不知道从几品开始滑到几品） 无尾滑音：没有尾的滑音（手慢慢松开） 上坡：低档位到高档位 下坡：高档位到低档位 抹弦：以左手食指为半径的扫弦 点弦：左手在指板上直接按下去 幽灵音：轻轻的弹或者不弹 小颤音：左右 大颤音：上下 ...
2022-05-19 19:22:39
424
原创 李宏毅老师-概述领域自适应
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 举一个例子，手写数字识别 但是假设训练资料和测试资料的分布不一样怎么办呢? 比如说训练的时候是黑白的，测试的时候是彩色的 一旦训练和测试分布不一样，那么在测试data上可能坏掉 那么，这种情况就叫做domain shift 相应的，我们就有一门技术来弥补这个不足，那就是domain adaptation 把一个domain（训练）学到的东西用在另一个domain（测试）上 domain shift有很多种可能 下
2022-05-19 10:50:55
899
原创 李宏毅老师-来自人类的恶意攻击 Part2
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 上一章我们学习的是white Box，这一章我们继续学习black box white box：知道模型参数的attack 我们如果用力保护好我们的模型不被他人得知，那么它真的安全吗？ 不一定的，还有black box black box attack：不知道model参数是什么 我们可以通过同一组训练集来训练一个network proxy，来模拟network black 从而通过攻击network proxy观察，
2022-05-18 10:12:41
268
原创 李宏毅老师-来自人类的恶意攻击 Part1
我们之前已经训练了很多类神经网络 把类神经网络应用到现实世界中，正确率高够用吗？ 其实不然，类神经网络还需要应对人类恶意的攻击 所以，我们希望我们的类神经网络不仅要正确率高，还要应对来自人类恶意的攻击 接下来，我们看一个attack的例子。 在这里，我们给图片加了一点杂讯放入Network Classifier中 让它输出其他东西 attack分为2种：1.Non-targeted 2.Targeted 为了让我们能够看到这两张照片的差异，我们经过处理后放大50x 或许，你可能会说cat
2022-05-17 10:31:46
325
原创 李宏毅老师-机器学习的可解释性 Part2
我们接着来学习Global explanation 通俗来讲，就是让模型知道一只猫应该长什么样子。 假设已经训练好一个CNN，将一张图片X经过Convolution层之后，得到一个feature map。 以filter1为例，通过filter1得到的feature map中大的值可以理解为filter1检测到的该图片的主要特征（pattern）。 现在我们想知道，对于任意一张图片，filter1想要看的pattern到底长什么样的。 所以我们要创造一张图片，这张图片包含filter1所要detec
2022-05-16 11:02:18
323
原创 李宏毅老师-机器学习的可解释性 Part1
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们除了要知道答案之外，还要让机器给我们一个答案的理由， 这就是Explainable machine 那为什么我们需要Explainable ML呢？ 神马：当旁边有人围观的时候，它就能根据身边人的反应，通过剁马蹄来计算数学问题 而当没有人围观的时候，它就计算不出来 decision tree：有很多节点，每个节点都有一个问题，决定向左向右，走到末尾做出最终决定 但是，decision tree就是
2022-05-16 10:00:52
383
原创 李宏毅老师-自编码器（Auto-encoder）Part2
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们接着来学习一下Feature Disentanglement Feature Disentanglement：把一些本来纠缠在一起的东西解开 这些经过Encoder的咨讯（比如文章的内容与字法等）全部纠缠在一起，我们并不知道这个向量的哪些维代表哪个咨讯 而Feature Disentanglement技术可以解决这个问题的 比如能不能前50维代表语音内容，后面的代表说话者的讯息 那么，Feature Dise
2022-05-10 17:56:03
231
原创 李宏毅老师-自编码器（Auto-encoder）Part1
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ AUTO-ENCODER也可以算是self-supervised learning的一环 那么，接下来，我们来学习一下Auto-encoder是如何运作的？ Auto-encoder包括两个network 一个是NN Encoder，一个是NN Decoder 将输入的高维度特征通过Encoder弄成低维度的向量，向量再通过Decoder转成新特征，输入输出越像越好。 那怎么把train完的Auto-encoder用
2022-05-10 10:37:03
329
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part4
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们前面说Bert做的事情是填空题 而GPT做的任务就是预测接下来会出现的token是什么 例如有笔训练资料是台湾大学，那么输入BOS后训练输出是台，再将台作为输入训练输出是湾 （预测台的时候不会看到湾，预测湾不会看到大等），以此类推即可 模型输出embedding h，h再经过linear transform（线性变换)和softmax后， 计算输出分布与正确答案之间的cross entropy， 希望越小越好（其实和
2022-05-08 14:40:07
617
1
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part3
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 那么，为什么我们要先做BERT工作呢？ 越相近的字产生的向量越接近，如果与草、鸟与鱼等 同时，BERT会根据上下文，不同语义的同一个字会产生不同的向量 看看下图的例子，同一个果字对应的向量会不一样 有两堆苹果 一堆是吃的苹果（5个） 一堆是苹果模型（5个） 那么我们就可以发现，前5个果相似度高，前5个跟后5个相似度就低 所以，BERT输出的向量代表了那个词的意思。 可以在接下来的任务做的更好 那为什么BER
2022-05-08 14:17:22
629
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part2
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们先来学习Bert这个model 什么是Self-supervised Learning呢？ supervised：比如说现在输入一篇文章，判断它是正面还是负面文章 我们就需要文章和label（它是正面还是负面）才能够进行train self-supervised：在没有label的情况下，自己想办法做supervised 假设现在只有一堆文章，没有标注 想办法让一部分文章作为model的输入，另一部分作为label
2022-05-08 11:21:24
451
原创 李宏毅老师-自监督学习（Self-supervised Learning）Part1
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ self-supervised与芝麻街人物有着密切联系 李宏毅老师讲这堂课的时候还穿着芝麻街的T恤（respect） 你可能以为Bert足够大了 但是 see next 接下来，我们将学习BERT和GPT series 从而知道self-supervised model做的事情是什么 ...
2022-05-08 09:44:53
420
原创 李宏毅老师-生成式对抗网络（GAN）Part4
Unpaired data：x与y的不是配对的 那么，我们现在遇到一个更加艰难的情况，假如没有一点成对的资料，那该怎么办呢？ 那在这种情况下，还有没有办法训练一个network，input x，output y呢？ 这就是GAN可以帮我们做的事情 那有没有办法做这件事情呢（输入一张人脸，输出二次元图片） 乍听，好像也没有很难 和原理的GAN训练一样，换一个sample方法即可 可能这么简单吗？ 答案是不可能的 输出y domain的图片可能忽略x输出一个像是二次元做的图片， Discri.
2022-05-06 17:35:22
243
原创 李宏毅老师-生成式对抗网络（GAN）Part3
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 但是，关于GAN train的挑战还在继续 Generator和Discriminator 只要其中一者停下来或者发生错误，那么另外一者也会失败的 GAN生成一段文字是最困难的 Decoder调整参数想办法让Discriminator产生的score最高 但是你会发现，做不到 大家都知道微分的时候是，某一个参数改变了，会影响output，从而更新该参数 当Decoder参数发生微小变化的时候，分数最大的那个toke
2022-05-06 16:49:48
265
原创 李宏毅老师-生成式对抗网络（GAN）Part2
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 接下来，我们就要继续学习GAN的理论知识 为什么Generator与Discriminator的互动可以让Generator产生像是真正人脸的图片 我们先弄清楚训练的目标到底是什么？ 就是找一个Generator里面的参数来使G*越小越好 但是如何计算divergence呢？ 因为这些divergence用在distribution上面要做几乎不知道怎么算的积分，我们不能算出divergence 这就是GEN所遇到的问题
2022-05-06 11:44:05
204
原创 李宏毅老师-生成式对抗网络（GAN）Part1
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们以前学习到的network可以输出一个数值、类别等 接下来，我们要接触一些新的主题 **network as Generator** 以前是input只有x，现在我们加入进来一个z，这个z是从某一个distribution simple出来的 我们要input x与z 才能输出y，那network怎么同时接受x与z呢 有很多方法，比如x与z都是向量可以接起来或者维度相同的话相加当做input z特别的地方是不固定
2022-05-06 10:25:18
576
原创 李宏毅老师-transformer part2
慢慢来，会更好！ 接下里，我们接着transformer part1，来继续学习Decoder Decoder有两种，我们会花很多时间来学习AT Decoder要做的事情就是把Encoder的输出读进去，至于怎么读进去，等一下见分晓 Decoder如何产生一段文字呢？ 首先，要有一个特殊的符号BEGIN，是一个special Token，多加一个特殊的字，代表了开始这个事情 （每一个 Token,都可以把它用一个 One-Hot 的 Vector 来表示, One-Hot Vector 其中一维是 1
2022-05-05 21:15:32
231
原创 李宏毅老师-transformer part1
transformer Transformer是一个sequence to sequence（seq2seq）的模型 输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。 為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？ 那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。 对于这些语言，根本就没有办法做语音辨识。 但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？ 一个很好的
2022-05-05 11:23:23
219
原创 李宏毅老师-GNN Part1
慢慢来，会做到更好！ GNN（Graph Neural Networks） part1 让我们先了解一下什么是Graph？ 如下图例子所示，有节点有边的图形可以粗略定义为Graph 那么，问题来了 我们为什么需要GNN呢？ 怎么把一个Graph塞入一个neural network呢？ 我们为什么需要GNN呢？ 仔细想想，我们是不是忽略了一点重要的情况呢？ 没错，那就是人物之间的关系！ 但是又有一些问题发生了 我们该怎么用node 的邻居来帮助model做训练呢？ 下列有两种方法
2022-05-04 22:50:18
438
原创 李宏毅老师深度学习-RNN（part1）
1.Example Application **~Slot Filling** RNN有很多应用，例如订票系统、智慧客服等。假设现在有一个人对系统说 I would like to Taipei on November 2nd。那么系统里面有Destination slot和time of arrival slot 要知道Taipei属于Destination slot November 2nd属于time of arrival slot。 这就是slot Filling的作用 那么这个问题该如何
2022-05-04 20:50:20
704
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人