李宏毅2021机器学习笔记（十一）

原创 已于 2022-08-02 09:42:25 修改 · 896 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

于 2022-04-08 21:49:37 首次发布
本文介绍了自注意力机制（Self-attention）在处理可变长度输入，如文字处理、语音识别和社交网络推荐等问题中的应用。自注意力允许模型考虑输入序列中所有元素之间的关联，避免了传统方法如RNN的序列依赖问题。文章详细阐述了自注意力的计算过程，并提到其在NLP、语音识别和图像处理中的使用，包括位置编码和Transformer模型的改进。

自注意力机制（Self-attention）

之前我们CNN的时候还是给定大小的矩阵，但是如果说我们的矩阵输入是可变的呢？？那要怎么做？？

举个简单的例子：文字处理。

我们把每一个单词都视作一个Vector，那么一个句子就是一个大小不固定的Matrix

最蠢的做法是 One-hot Encoding

 也就是说：如果有n个单词，我就搞一个n维向量

而且你看不到词汇之间的关系：如动物，单复数等

还有一种是Word Embedding

这个 最直观的表现就是动物在一团，植物在一团

再举个例子：语音识别

取25ms做一个frame 。然后经过一些神秘的处理，变成一个Vector。如下

接着 

然后往右移动10ms。 （25和10都是古圣先贤帮你调好的）

再比如GNN了，Social Network就是一个Matrix，且随机。每一个节点是一个Vector，性别啊工作啊等等。

再说化学中，每个原子就是一个Vector，当然元素周期表是很少的，就可以用One-hot vector表示

接下来讲：怎样输出？？

输入n个Vector，输出n个Vector。而且输出的可能是Scale也可以是Classification

举个例子：

①给一句话标记词性，名词or动词。POS tagging

最低0.47元/天 解锁文章
李宏毅机器学习2021笔记—self-attention（上）
zghnwsc的博客
04-21 1949
本文为李宏毅老师机器学习2021的self attention一节的学习笔记，接在CNN之后。学习本节之前，需要有一定的基础知识。 self attention解决的问题 到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。 比如文字处理的时候： 比如我们输入词汇，每个词汇都相当于一个向量，我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，就是它假设所有的词汇都是没.
李宏毅2021机器学习笔记（一）
qq_44698709的博客
03-06 846
什么是机器学习？ 简单来说就是让机器帮我们找一个函数，即一个映射。如声音—>文字的语音识别函数 自变量可以是向量，矩阵（图像识别），序列 输出是数值、图片等 课程讲什么？ 一、 监督学习，给定图片人工的告诉机器其类型，训练模型，让机器拥有 f（图片）—>类型 这一函数 二、 训练模型之前进行Pre-train，让机器学习如何辨别图片这一基本功，因为人工输入图片类型过于繁琐。只需传入大量图片资料即可自动训练。如把图片翻转、变色，询问机器是不是可以...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ git clone 下载方式 2 网页下载 更新记录 PPT部分 路径：machineLearningDeepLearning/ppt 第七章 已同步官网更新到第九章 Domain Adaptation/RL Video部分  课程介绍 中文 英文 第一章 中文 英文 第二章 中文 英文 第三章 中文 英文 更新部分 第四章 中文 英文 未更新 第五章 中文 第六章 中文 第七章 中文 第八章 中文 第九章 官网暂未更新 HomeWork部分 路径：machineLearningDeepLearning/homework
李宏毅2022《机器学习/深度学习》——学习笔记（1）
dotJunz的博客
10-03 1038
hyperparameters：机器学习中自己设定的参数，比如学习速率。weight: w（权重：与 feature 相乘的）如下所示是一个简单的 Model。优化下面函数，获得较好的参数值。模型就是带有未知参数的函数。bias: b（偏置）
李宏毅2021春机器学习课程笔记——Convolutional Neural Network
sykai1的博客
04-23 866
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！ 图像的表达形式 对于一个Machine来说，一张图像其实是一个三维的Tensor。 如上图所示，三个维度分别表示图像的宽、高和Channel的数目。彩色图像的每一个pixel都是由RGB 三个颜色所组成的，所以3个Channel就分别代表了RGB三个颜色，宽和高表示了这张图像中像素的数目（即：100×100） 之前提到的网络（例：Fully Connected Ne
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
李宏毅机器学习（2021）学习笔记 01
hldgs的博客
11-29 1034
李宏毅老师《机器学习2021》课程的学习笔记。
李宏毅2021春季机器学习课程笔记1：Introduction, Colab & PyTorch, HW1
An_dy_code的博客
10-31 1079
文章目录1. Introduction 1. Introduction 机器学习的目的：寻找一个函数，对于给定的输入，这个函数可以输出相应结果。 例如：一段语音输入，输出识别出的语言、一张图片输入，输出目标种类、“围棋”状态输入，得到下一步落子位置。 根据不同的功能，可以将函数大致分为以下几类： 回归问题(Regression)： 输出是一个标量（scalar） 分类问题(Classification)：给定相应输出选项(classes)，输出正确的类型 结构化学习(Structured Lea
李宏毅2021春机器学习课程笔记——Tips for training：Critical Point
sykai1的博客
03-26 943
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！ Critical Point 当我们观察训练集上的Loss出现如下两种形式时： 蓝色线：当Loss下降到一定程度后，便不在减小。但此时的Loss并不能满足我们对模型的要求。 橙色线：Loss一直没有下降 出现上述两种情况的原因可能是：损失函数的梯度（gradient）非常接近零，导致损失函数更新后不会下降。在训练过程中如果损失函数陷入局部最小值（Local min
李宏毅学习笔记的PDF版
04-22
github上有相关的开源资源！！！！！ 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。比如老师会经常用宝可梦来结合很多机器学习算法。对于想入门机器学习又想看中文讲解的人来说绝对是非常推荐的。
李宏毅 ML2021 学习笔记 - W3
irontiger65的博客
07-05 229
1. CNN CNN 不能解决scaling 和 rotation（→ data augmentation） → spatial transformer layer 2. Self-Attention self-attention可以叠加： 2.1.self-attention运作过程 计算两个vector的relevance α： 不一定要用softmax，其他activation function也可以，e.g. relu 2.2. 矩阵角度 2..
李宏毅2021机器学习笔记（七）
qq_44698709的博客
04-06 528
探究宝可梦和数码宝贝分类器Classification 第一步还是定义函数，这个H是函数定义域，其实输入的参数x就是图像的图形数目。H越大说明复杂度越高！！ 接下来是Loss函数 不过我们要有数据集 这个Loss类似我们的极大似然估计，本质思想就是：找使得L为极值点的参数h l（）这个函数就是如果得出的y与y-hat一致（匹配成功）那就输出1 我们如果得到所有的数据集，那么就可以找到完美的参数，使得Loss最小 但是我们不可能找到所有的数据集 只有训练集 ...
机器学习笔记1
wolf_qu的博客
03-28 219
1.问题模型： 1.1回归问题(Regression): eg:房价预测，温度预测； 1.2分类(Classification): eg:邮件分类，输入图片输出预测； 2.问题求解 2.1建立模型 一般根据domain knowledge建立模型，例如y=w*x+b，x为输入,y为输出,w和b为参数 2.2定义损失函数 MAEloss/MSEloss/Cross-entropy: 2.3优化参数 优化的目标是找到使L最小的参数，即找到使得loss最小的参数w和b 优化方法
李宏毅2021机器学习笔记（十三）
qq_44698709的博客
08-04 329
Transformer 简单来说就是Sequence-to-Sequence 输入一个序列，输出一个结果 这个是台语到中文的翻译器 但是如果你特质化模型，效果当然更好。当然Seq2Seq也能做 还有如下。 Transformer原理 Encoder 这就是一级框架。下面我们来讲Encoder 其实Transformer的Encoder就是用了Self-attention。 解释一下：每个Block都包括好几个............
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Convolutional Neural NetWork（CNN）
知不足而奋进，望远山而前行
12-13 2万+
比如，同样的一只猫，可能因为背景的不同，网络就识别不好了，全连接网络不能较好地提取图像特征。这个特征域是可以根据你要求解的图像分类问题的特性任意设定的，比如你要求解的图像分类问题的图像中的特征位于图片的左上角和右上角，那接受域你也大可不用设置为正方形，可以设置成两个正方形分开的一种特殊接受域。如图所示，假设我们想知道图片的类别是鸟，作为人类，我们要想分辨图中有没有鸟，我们会着重分别图中有没有鸟的某些明显的特征，比如我看到图中有鸟的头，我就认为图中有鸟，我看到图中有鸟的尖嘴，我也认为图中有鸟。
李宏毅2021春季机器学习课程视频笔记集合
诸神缄默不语的博客
05-24 4379
我自己写的李宏毅2021春季机器学习课程视频笔记的目录
李宏毅2022《机器学习/深度学习》——学习笔记（2）
dotJunz的博客
10-05 758
机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。这里引入了新的概念 batch，将总的训练集随机划分成一个个 batch，用每一个 batch 计算一个 Loss，计算梯度，更新一次。激活函数可以嵌套，把上一层激活函数的结果作为下一层激活函数的输入，这样函数的未知参数就会更多了，模型也更加复杂。
李宏毅2021机器学习笔记（六）
qq_44698709的博客
04-05 657
分类Classification 不同于回归，分类产生的y我们需要先归一化到0-1区间，且概率和为1.再与y-hat进行比较 这里用的是soft max函数 这个exp是指数函数的意思。 但是如果2个分类可以直接取sigmoid，就是等价的 完全等价欸！！！ 接下来我们讨论Classification的Loss函数 当然我们可以用MSE 但是一般用Cross-entropy交叉熵 其实 我们一般就是先用soft max+cross -entrop.
深度解读李宏毅机器学习笔记要点
从给定的信息来看，这份文档文件的标题为“李宏毅机器学习笔记”，这表明文档的主要内容是关于机器学习方面的知识，且可能与李宏毅教授有关。李宏毅是一位在人工智能、机器学习领域有一定研究和教学经验的学者，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值