2021/2022李宏毅机器学习笔记-Transform

最新推荐文章于 2024-09-27 16:47:35 发布

nousefully

最新推荐文章于 2024-09-27 16:47:35 发布

阅读量565

点赞数

文章标签：深度学习

本文链接：https://blog.csdn.net/nousefully/article/details/126075635

版权

Transformer就是一个Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什么呢？

我们之前在讲input a sequence的,case的时候我们说input是一个sequence,那output有几种可能

●一种是input跟output的长度- 样,这个是在作业二的时候做的
●有一个case是output指,output一个东西,这个是在作业四的时候做的
●那接来作业五的case是,我们不知道应该要output多长,由机器自己决定output的长度,即Seq2seq

1.举例来说，Seq2seq一个很好的应用就是语音辨识

在做语音辨识的时候，输入是声音讯号，声音讯号其实就是一串的vector ,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字

我们这边用圈圈来代表文字，每一个圈圈就代表,比如说中文裡面的一个方块子,今天输入跟输出的长度，当然是有一些关系，但是却没有绝对的关系，输入的声音讯号,他的长度是大T,我们并没有办法知道说根据大T输出的这个长度N一定是多少。

输出的长度由机器自己决定,由机器自己去听这段声音讯号的内容,自己决定他应该要输出几个文字，他输出的语音辨识结果,输出的句子裡面应该包含几个字,由机器自己来决定，这个是语音辨识

2.还有很多其他的例子，比如说作业五我们会做机器翻译

让机器读一个语言的句子 ,输出另外-一个语言的句子,那在做机器翻译的时候输入的文字的长度是N，输出的句子的长度是N',那N跟N'之间的关系,也要由机器自己来决定

输入机器学习这个句子,输出是machine learning,输入是有四个字,输出有两个英文的词汇,但是并不
是所有中文跟英文的关系,都是输出就是输入的二分之- -,到底输入 -段句子,输出英文的句子要多长,
由机器自己决定

3.甚至可以做更复杂的问题,比如说做语音翻译

语音翻译就是,你对机器说一句话,比如说machine learning,他输出的不是英文,他直接把他听到的英
文的声音讯号翻译成中文文字

你对他说machine learning,他输出的是机器学习

為什麼我们要做Speech Translation这样的任务為什麼我们不直接先做一个语音辨识,再做一个机
器翻译把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译?

因為世界上有很多语言,他根本连文字都没有,世界上有超过七千种语言，那其实在这七千种语言,有超过半数其实是没有文字的,对这些没有文字的语言而言,你要做语音辨识，,可能根本就没有办法,因為他没有文字,所以你根本就没有办法做语音辨识，但我们有没有可能对这些语言,做语音翻译,直接把它翻译成，我们有办法阅读的文字

Seq2seq for Chatbot

Seq2seq for Syntactic Parsing(句法分析) multi-la bel classification

Seq2seq for Object Detection

Encoder-Decoder

我们现在就是要来学，怎麼做seq2seq这件事，一般的seq2seq's model，它里面会分成两块一块是Encoder,另外一块是Decoder

Encoder
seq2seq model Encoder要做的事情，就是给一排向量,输出另外一排向量

给一排向量、输出一排向量这件事情很多模型都可以做到,可能第一个想到的是我们刚刚讲完的self-attention,其实不只self-attention,RNN CNN其实也都能够做到input- -排向量output另外一个同样长度的向量
在transformer裡面, transformer的Encoder,用的就是self-attention,这边看起来有点复杂,我们用另外

现在的Encoder裡面,会分成很多很多的block