李宏毅.DLHLP2020(完结)
文章平均质量分 95
2020李宏毅新课深度学习与人类语言处理
oldmao_2000
人工不智能,机器不学习。
展开
-
李宏毅DLHLP.01.Course overview
文章目录介绍HLP vs NLP语音概述文字概述本课程内容(六类)Automatic Speech Recognition(ASR)语音合成语音转语音Input Audio, Output Class文字2文字其他介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:htt原创 2020-08-08 11:09:11 · 704 阅读 · 0 评论 -
李宏毅DLHLP.02.Speech Recognition.1/7
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:https://www.bilibili.com/video/BV1EE411g7Uk?t=222公式输入请参考:在线Latex公式Speech: a sequence of vector (lengt原创 2020-08-10 20:41:39 · 862 阅读 · 0 评论 -
李宏毅DLHLP.03.Speech Recognition.2/7.Listen, Attend, and Spell (LAS)
文章目录介绍ListenDown Sampling介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:https://www.bilibili.com/video/BV1EE411g7Uk?t=222公式输入请参考:在线Latex公式Listen, Attend, a原创 2020-08-13 19:00:57 · 812 阅读 · 0 评论 -
李宏毅DLHLP.04.Speech Recognition.3/7. Connectionist Temporal Classification (CTC) and more
文章目录介绍CTC模型CTC训练alignment结果 略结巴问题RNN Transducer (RNN-T)RNARNN-T解决alignmentNeural Transducer窗口大小MoChA总结介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:https://原创 2020-08-13 21:43:43 · 633 阅读 · 0 评论 -
李宏毅DLHLP.05.Speech Recognition.4/7. HMM
文章目录介绍HMM(Hidden Markov Model)Emission Probabilityalignment问题基于HMM的DL方法Method 1: Tandem.09年Method 2: DNN-HMM Hybridstate classifier介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/cours原创 2020-09-22 20:50:23 · 465 阅读 · 0 评论 -
李宏毅DLHLP.06.Speech Recognition.5/7. Alignment of HMM, CTC and RNN
文章目录介绍LAS介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:https://www.bilibili.com/video/BV1EE411g7Uk?t=222公式输入请参考:在线Latex公式本节回到End-to-end方式,上节提到的Alignment,我原创 2020-09-27 18:45:39 · 307 阅读 · 0 评论 -
李宏毅DLHLP.07.Speech Recognition.6/7. RNN-T Training
文章目录介绍How to sum over all the alignmentsTraining介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站:http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站视频:https://www.bilibili.com/video/BV1EE411g7Uk?t=222公式输入请参考:在线La原创 2020-09-27 18:46:24 · 388 阅读 · 0 评论 -
李宏毅DLHLP.08.Speech Recognition.7/7. LANGUAGE MODELING
文章目录介绍为什么需要LMN-gramChallenge of N-gramContinuous LMNN-based LMRNN-based LMUse LM to improve LASShallow FusionDeep FusionCold Fusion介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式本节是语音识别的最后一节,主要讲解如原创 2020-09-28 19:49:11 · 355 阅读 · 0 评论 -
李宏毅DLHLP.09.Voice Conversion.1/2. Feature Disentangle
文章目录介绍什么是VC应用实操介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式什么是VC输入一段声音,输出另外一段声音通常情况:What is preserved?ContentWhat is changed?Many different aspects …应用常见应用就是转换说话的人• The same sentence sa原创 2020-10-07 14:46:47 · 2386 阅读 · 0 评论 -
李宏毅DLHLP.10.Voice Conversion.2/2. CycleGAN and starGAN
文章目录介绍2nd Stage TrainingDirect TransformationCycle GANstarGANReference介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式接上节的话题,我们用AE的思想来将content和speaker的特征分开,然后再拼回去,然后再Decoder回原来输入的声音,希望输入和输出的reconst原创 2020-10-08 15:44:01 · 797 阅读 · 0 评论 -
李宏毅DLHLP.11.Speech Separation.1/2. Deep Clusterring, PIT
文章目录介绍Speaker SeparationEvaluationPermutation IssueDeep ClusterringMaskingIdeal Binary Mask (IBM)Deep Clustering介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式Speech Separation: • Humans can focus原创 2020-10-09 21:04:23 · 1142 阅读 · 2 评论 -
李宏毅DLHLP.12.Speech Separation.2/2. TasNet
文章目录介绍TasNet – Time-domain Audio Separation Network介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式TasNet – Time-domain Audio Separation Network[Luo, et al., TASLP’19]直接看其架构可以看到整个模型的输入和输出是声波,不用原创 2020-10-15 16:14:36 · 534 阅读 · 0 评论 -
李宏毅DLHLP.13.Speech Synthesis.1/2.Tacotron
文章目录介绍TTS before End-to-endConcatenative ApproachParametric ApproachDeep VoiceTacotron:End-to-end TTSEncoder 类似 Grapheme-to-phonemeAttention类似Modeling DurationDecoder :Audio Synthesis介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类原创 2020-10-16 10:36:40 · 674 阅读 · 0 评论 -
李宏毅DLHLP.14.Speech Synthesis.2/2.More than Tacotron
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式整个语音合成包括下面四个内容TTS before End-to-end:端到端学习之前的语音合成Tacotron:End-to-end TTS:端到端的语音合成Beyond Tacotron:端到端学习之后的语音合成Controllable TTS:如何控制TTS这节讲后面两原创 2020-10-26 21:58:21 · 579 阅读 · 1 评论 -
李宏毅DLHLP.15.Speaker Verification
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-11-01 16:03:10 · 1012 阅读 · 1 评论 -
李宏毅DLHLP.16.NLP tasks
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-11-02 10:57:16 · 1227 阅读 · 2 评论 -
李宏毅DLHLP.17.BERT and its family.1/2.Introduction and Fine-tune
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-11-05 15:57:53 · 525 阅读 · 0 评论 -
李宏毅DLHLP.18.BERT and its family.2/2.ELMo,BERT,GPT,XLNet,MASS,BART,UniLM,ELECTRA
文章目录介绍How to pre-train介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式接上节,这节主要将如何进行预训练,并介绍各种预训练模型。How to pre-train...原创 2020-11-06 22:18:07 · 925 阅读 · 0 评论 -
李宏毅DLHLP.19.Coreference Resolution
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-11-09 16:30:33 · 659 阅读 · 0 评论 -
李宏毅DLHLP.20.Non-Autoregressive Generation
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式这节课是莊永松主讲,关于Non-Autoregressive这个在BERT and its family.2/2中有提到过这个名词,与之对应的是Autoregressive。所谓的Autoregressive Sequence Generation就是从左到右的一个个的生成token。原创 2020-11-21 18:55:00 · 3648 阅读 · 0 评论 -
李宏毅DLHLP.21.Text Style Transfer
文章目录介绍Cycle GANGeneratorGumbel-softmaxContinuous Input for DiscriminatorReinforcement Learningtip1:Reward for Every Generation Step实作结果Star GANFeature DisentangleUnsupervised Abstractive SummarizationUnsupervised TranslationMapping of Word Embedding具体过程Uns原创 2020-11-22 12:59:53 · 1002 阅读 · 0 评论 -
李宏毅DLHLP.22.Multilingual BERT
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-11-22 21:37:32 · 2394 阅读 · 0 评论 -
李宏毅DLHLP.23.Constituency Parsing.1/2
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2020-12-01 21:41:40 · 821 阅读 · 0 评论 -
李宏毅DLHLP.24.Constituency Parsing.2/2
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式Parsing有两种,一种是Constituency Parsing,一种是Dependency Parsing,第一种上节已讲,这节来看后面这个。...原创 2020-12-02 10:18:15 · 348 阅读 · 0 评论 -
李宏毅DLHLP.25.Audio BERT.1/2
文章目录介绍CPC介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式这节课是助教Andy T. Liu讲解,题目是Audio BERT.但是PPT内容主要是语音的自监督学习。总体分两大流派:CPC...原创 2021-02-09 16:26:20 · 1021 阅读 · 0 评论 -
李宏毅DLHLP.26.Audio BERT.2/2
文章目录介绍AALBERT. BY 纪伯翰Recap: ALBERTFactorize Embedding MatrixShare Parameters across layerModel Configuration between BERTAALBERT介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式上节课提到了李宏毅老师团队做的一个Mock原创 2021-02-12 15:17:54 · 587 阅读 · 0 评论 -
李宏毅DLHLP.27.Deep Learning for Question Answering.1/2
文章目录介绍AnswerAnswer is simply a wordMultiple ChoicesSpan in Source / Extraction-basedFree Answer GenerationKnow what you don’t knowKnowledge SourceDrQApicture/videoAudio介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频原创 2021-02-13 10:43:21 · 355 阅读 · 0 评论 -
李宏毅DLHLP.28.Deep Learning for Question Answering.2/2
文章目录介绍Simple Question: Match & ExtractQuery-to-context AttentionQuery-to-context Attention v2Context-to-query AttentionBiDAFDynamic Coattention NetworksQANetBERTComplex Question: ReasoningCorpusQangarooHoppot QADROP Discrete Reasoning Over the text in原创 2021-02-14 15:23:43 · 602 阅读 · 0 评论 -
李宏毅DLHLP.29.GPT3
文章目录介绍Closed Book QA文本生成介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式先感叹一下这个巨大的模型,文章作者30+,文章页数70+,模型参数175亿,光下载下来要700+G,训练这个玩意不知道烧了多少钱。之前BERT之类的预训练模型在进行下游任务的时候,还需要进行fine-tune,需要收集小部分和任务相关的数据,而G原创 2021-02-15 10:16:49 · 276 阅读 · 0 评论 -
李宏毅DLHLP.30.Controllable Chatbot
文章目录介绍存在的问题法1:Directly Fine-tune法2:Control by ConditionPersona-based modelConditional Transformer Language model (CTRL)CorpusTransferTransfo介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式如果是普通的cha原创 2021-02-16 11:06:14 · 575 阅读 · 0 评论 -
李宏毅DLHLP.31.Dialogue State Tracking (as Question Answering)
文章目录介绍介绍本门课程是2020年李宏毅老师新课:Deep Learning for Human Language Processing(深度学习与人类语言处理)课程网站B站视频公式输入请参考:在线Latex公式原创 2021-02-17 15:56:09 · 1685 阅读 · 0 评论