云淡风轻_的博客

文章目录摘要介绍FastText核心思想模型结构Hierarchical softmaxN-gram features实验任务一 sentiment analysis任务二 tag prediction总结 fasttext词向量优势摘要本文提出了一种简单有效的文本分类和表示学习方法。实验表明fasttext在准确性方面与深度学习分类器保持一致，并且训练和评估的速度大大提高。可以在不到10分钟的时间内使用标准的多核CPU对超过10亿个单词进行快速文本训练，并在不到一分钟的时间内对312K类中的50万个

对比学习可以说是自监督版本的度量学习，最大的的特点是自监督的，也就是自动构造正例的方法。SimCLR是对比学习的典型例子（对比损失函数InfoNCE来驱动达成对比学习的目标：正例拉近，负例推远） 容易发生模型坍塌的模型是不好的对比学习系统（SimCLR的防坍塌方法：随机负例，负例越多效果越好），好的对比学习系统应兼顾：alignment和uniformity，前者是希望相似正例在投影空间有相近的编码，后者是希望所有实例映射到投影空间之后分布尽可能均匀（希望实例对应的embedding可以保留更多的个性化信

文章目录文字风格转换cycle GAN做法文字与语音和图像有所不同，不能合并做梯度下降和梯度上升了（不能微分）无法微分问题的解决方法：ScratchGAN：把各式各样用RL训练生成器的tips都试了一遍更多的转换举例：文字的starGAN：style transformer语音风格转换：男声变女声文字风格转换cycle GAN做法通常正负面的句子不成对出现，所以使用无监督学习的方法要做这个任务：Cycle GAN训练一个discriminator识别器看很多正面的句子，学到识别正面的句子

过去都是一个任务一个模型，现在逐渐迈向先让机器了解人类语言然后再做各式各样的任务 常见做法是：1、pre-train：先用大量无标记数据，训练一个能读懂人类语言的模型2、fine-tune：使用少量有标记资料去微调模型，去解各种NLP任务一、可以读人类语言的预训练模型长什么样，可以做什么事预训练模型：希望把输入的每一个token表示成一个embedding vector，这个vector包含token的语义，含义相近的token会有相近的em...

一、根据输入输出的不同组合，NLP任务类别如下横向：输入 纵向：输出二、词性标注预处理part-of-speech（POS）taggingPOS tagging的模型，给句子中的每一个词标注词性 然后把词性的信息与文字绑定之后，放在下游任务中使用，帮助分辨一词多义的问题假如下游任务的模型有做POS tagging的能力，也可以不提前做预处理三、中文分词预处理word segmentation中文需要词汇分隔，英文是不需要的 模型会做二元分类，决定每个字是否是...

娱乐圈太乱了，吃瓜都有点疲劳，其实我的态度是谴责的，但我不觉得非常愤怒，什么样的人都有，垃圾回到垃圾桶去就好老师突然说要学终身学习，想着其实把李宏毅老师的课完整学下来，其实就具备了看懂论文的能力新裤子乐队的歌听得我还可以再学一个小时（最多了），自律真的是一件反人类的事情。因为最近在认真的做笔记，csdn的编辑器一言难尽... ，不要偷懒把序号标好，逻辑和层次都清清楚楚了 nice ~我其实没有思考过为什么人工智能还没有变成天网，学了...

一、LLL：一直用同一个模型学习各种技能二、LLL的实际应用模型上线后可以取得用户的反馈，不断更新模型参数三、LLL的难点在哪里：灾难性遗忘catasrophic forgetting1、影像辨识例：3层50个神经元，手写数字识别：任务1有杂讯，任务2没有a、分开学任务1、2在任务1上学完后准确率90%，没看过任务2的情况下准确率96%，得到的模型参数不变（同一模型）继续学习任务2来更新参数，任务2的准确率提高了，但是机器忘了怎么做任务1了b、同时学两个任务：两个任.

过去NLP任务通常是一个任务一个模型，现在已经迈向，希望机器先总体了解人类语言以后再去解决各种NLP任务（先预训练一个模型，然后微调之后用在不同的任务上）pre-train：让机器解某个任务之前先训练一下。今天NLP领域的常见做法是：训练一个模型，模型是根据大量的文字（无标记，直接爬取的文字）训练出来的，它可以读懂人类文字 什么叫读懂？接下来针对要解决的任务，可以收集部分少量的资料，对模型进行微调fine-tune，让机器来解决不同的任务（不同的针对性资料对模型...

本课首先解释了预训练模型：是什么、为什么，引出了bert这个可知语义信息的模型bert自监督学习，资料分为两部分，自己跟自己学，自己产生labelbert通过transformer无限制的self-attention考虑整个序列，给多少内容就能看多少上下文，预测的内容被mask所以不用担心模型会偷看到，目标是预测被盖住的内容。预训练模型往往非常大，很多参数需要存下来，所以只调adaptor的部分预训练模型经过任务的针对性有标记资料的微调之后，可以解决各种下游NLP任务：情感分析、词性标注、NLI、问答

目录s2stransformer's encodertransformer'sdecoderDecoder两个类别：autoregressive v.s non-autoregressive /缩写为：AT v.s NATdecoder内部结构encoder与decoder相差的就是怎么做训练的？训练transformer（也可以是s2s模型）的tips总结是一个seq2seq模型，输入是一个序列，输出是一个序列，输出序列的长度由机器决定...

是一个常见的神经网络架构onehot encoding：没有语义的信息wordembedding：有语义信息什么是seq2seqpos tagging词性标注：输入和输出长度一样sentiment analysis情感分析：整个序列只输出一个labeltranslation翻译：输入一个序列，输出也是一个序列，而且机器要自己决定输出的长度——seq2seqFC引入self-attention针对每个输入的向量都对应一个label的情况：（输入数目=输出数目）——seque

目录RNN的应用实例slot filling位置填充用前馈网络来进行位置填充？我们需要这个神经网络可以看到上下文，有记忆的神经网络——RNN双向RNN bidirectionalRNNlong short-term memory LSTM LSTM-ExampleLSTM与nn有什么关系？LSTM与RNN的关系？总结RNN的应用实例slot filling位置填充将内容正确填充到不同的位置上去用前馈网络来进行位置填充？输入：一个词汇（每...

为什么设计神经网络的架构能让结果表现更好？如果没有影像特性，就不要用CNNCNN由简入深版本1：由影像分类切入，image classification把所有图像rescale成大小一样，再放进影像辨识系统 目标是分类，所以把所有类别表示为one-hot，dim决定了这个模型能辨识多少类别的东西 模型输出通过softmax得到与one-hot同维度的概率分布，概率值最大的类别决定本图的类别如何把三维的tensor变成向量输入模型？直接拉直排成一排的向量作为输入2个观察对应2种

李宏毅老师的新课上起来是醍醐灌顶的程度，而且很新！帮助我看懂了令人发愁的论文，您就是我的恩人！会以虔诚的心好好学习的，ღ( ´･ᴗ･` )比心什么是机器学习机器学习是什么，让机器具备一个找函数的能力。如语音辨识（函数输入语音，可以输出文字）影像辨识（函数输入图片，输出文字）下棋（函数输入当前的棋子位置，输出下一步的位置）机器学习的任务：regression回归：是指要找的函数输出是一个scaler数值 classification分类：事先准备好的选项中得到输出，AlphaGo也是一