![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 94
任菜菜学编程
暂无
展开
-
2019年CS224N课程笔记-Lecture 20:The Future of NLP+Deep Learning
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=20正课内容5年前NLP的深度学习No Seq2Seq No Attention No large-scale QA/reading comprehension datasets No TensorFlow or Pytorch深度学习+NLP的未来利用无标签数据 Back-translation 和 无监督机器翻译 提高预训练和GPT-2 接下来呢? NLP技术的..原创 2020-09-14 19:48:01 · 2505 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 19:Safety, Bias, and Fairness
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=19正课内容对于现实中的这种香蕉我们倾向于不提黄色(第一次看这个图的时候很少/几乎没有有人说黄色),因为黄色是他的原型(绿色和斑点则不是)原型理论分类的目的之一是将刺激之间的无限差异缩小到行为和认知上可用的比例物品可能有一些核心的原型概念,这些概念来自于存储的对象类别的典型属性(Rosch,1975)也可以存储样本/存储范例?(感觉翻译的不是很理解)(Wu&原创 2020-09-12 00:52:01 · 2149 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 18:Constituency Parsing
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=18正课内容1. The spectrum of language in CS 词袋模型<-------------------------- ----- -------------------->复杂形式的语言表达结构这是真.词‘袋’语言的语义解释——不仅仅是单词向量我们怎样才能弄清楚更大的短语的含义?例...原创 2020-09-10 00:01:23 · 1103 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 17:Multitask Learning
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=16正文内容现在有一种想法比较流行:在一个模型中完成10个不同的任务(十项全能比赛)把所有预处理后发现可能对于一个词在不同的模型中含义是不一样的NLP&AI的下一步是什么?基于特征工程的机器学习->特征学习的深度学习->针对单个任务的深层架构工程->?单任务学习的局限性鉴于{dataset,task,model,metric},近年来性能得到了很大改原创 2020-08-22 19:40:50 · 606 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 16:Coreference Resolution
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=16正课内容What is Coreference Resolution?/什么是共指消解?识别所有涉及到相同现实世界实体的提及,指的是在一短文本内多个表达段/句子指向现实世界中的同一个实体,例如下属例子这一段话中有许多实体(蓝色部分),其中许多实体指的是同一个人/现实中的事物,例如:红色部分和橙色部分全部指向现实中的人物/事物,再例如不同颜色代表不同的实体,不光是人,还原创 2020-08-08 22:40:02 · 1032 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 15:Natural Language Generation
资源链接:https://www.bilibili.com/video/BV1r4411这节课讲的是文本生成(是一个超级超级广的概念,几乎各个地方都可以牵扯到),NLG甚至每个方面都可以开创一个讲座正课内容之前我们所说的机器问答并不是NLG,因为他只是提取答案一些疑问回答:语言模型/LM是根据目前已有的文本生成下一个词的模型,如果这么模型是使用RNN完成的,则称为RNN-LM。...原创 2020-08-05 21:31:37 · 2111 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 14: Transformers and Self-Attention
资源链接:https://www.bilibili.com/video/BV1r4411(np带个妹子让课堂不尴尬~)正课内容可变长数据的表示,也就是序列学习的基本使用组件,主要包括神经机器翻译,摘要,问答等项目通常使用 RNN 学习变长的表示:RNN 本身适合句子和像素序列,LSTMs, GRUs 和其变体在循环神经网络模型中占主导地位。但是序列计算抑制了并行化(RNN也是这个缺点),没有对长期和短期依赖关系进行显式建模。我们想要对层次结构建模,RNNs(顺序结构)看起来很...原创 2020-07-31 00:46:28 · 479 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 12: Subword Models
资源链接:https://www.bilibili.com/video/BV1r4411正文内容人类语言声音:语音学和音韵学(Phonetics and phonology)(课件内容,不是很懂。。。)Phonetics 语音学是一种音流——物理学或生物学 Phonology 语音体系假定了一组或多组独特的、分类的单元:phoneme音素 或者是独特的特征 这也许是一种普遍的类型学,但却是一种特殊的语言实现 分类感知的最佳例子就是语音体系 音位差异缩小;在音素之间被放大...原创 2020-07-24 00:38:46 · 702 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 11: ConvNets for NLP
资源链接:https://www.bilibili.com/video/BV1r4411想看书吗推荐了一本书~可以自己去了解了解正课内容本周主要是CNN专题从RNNs到卷积神经网络递归神经网络不能捕获没有前缀上下文的短语经常在最终向量中捕获太多的最后单词,如下图例如,如上图,softmax通常只在最后一步计算卷积网络的主要想法:如果我们为每个可能的子序列计算一定长度的向量呢?例如:“tentative deal reached to keep government原创 2020-07-21 23:53:50 · 812 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 10: Question Answering
正文内容当我们在谷歌浏览器中搜索澳大利亚第三任总统是谁时,谷歌浏览器会告诉我们答案,这就是一个问答系统而且这是通过我们提问语句的特征进行回答的,而不是基于结构化数据存储的问答,我们今天要讨论的也主要是神经问答系统问答系统产生的动机大概意思就是我们现在有特别多的全文文本,早起搜索可能就是返回相关的文档(类似于你想知道现在某俱乐部的负责人是谁,它可能提供你该俱乐部的各种资料,然后你需要自己去这些相关资料中寻找答案),但是人们对于需要答案的需求就更加急迫了(之前的太麻烦,我要算个数...原创 2020-07-19 22:17:27 · 502 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 9: Practical Tips for Final Projects
资源链接:https://www.bilibili.com/video/BV1r4411课程一开始介绍了一些作业情况,具体就不介绍了,不过推荐了很多比较好的nlp的数据的网址,这个建议大家保留下:https://machinelearningmastery.com/datasets-natural-languageprocessing/https://github.com/niderhoff/nlp-datasets等等...正课知识内容我没找到...对应的课件,截图均来自视频本原创 2020-07-16 20:51:11 · 436 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 8: MachineTranslation seq2seq Attention
资源链接:https://www.bilibili.com/video/BV1r4411本节课主要介绍了机器翻译、seq2seq toseq2seq和注意力机制。正课内容机器翻译的任务机器翻译(MT)是将一个句子x从一种语言(源语言)转换为另一种语言(目标语言)的句子y的任务,如下图:早期的机器翻译始于1950s,主要是俄语->英语,起因是冷战,系统主要是基于规则的,使用双语词典来讲俄语单词映射为对应的英语部分中期:统计机器翻译/Statistical Mac...原创 2020-07-14 00:05:02 · 3332 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 7: Vanishing Gradients and Fancy RNNs
资源链接:https://www.bilibili.com/video/BV1r4411本节课其实并没有介绍NMT/机器翻译,而是主要讲述了RNN的梯度爆炸/消失、LSTM、GRU、双向RNN、多层RNN等内容正文梯度消失/爆炸根据链式法则,我们可以求出各个结点隐藏变量hi的梯度,可以发现,当这些梯度很小的时候,反向传播的越深入,梯度信号就会变得越来越小距离最后结点越远的/i值越小的,其梯度是大量的相乘,这样如果之前的梯度都是很多大于1的,则相乘后会非常大/梯度爆炸;如果之前的梯度原创 2020-07-12 00:40:32 · 606 阅读 · 1 评论 -
2019年CS224N课程笔记-Lecture 6: Language Models, RNN, GRU and LSTM
资源链接:https://www.bilibili.com/video/BV1r4411正文感觉本节课就讲了两个内容,语言模型和RNN模型。本章我也会发力多多补充,上节课实在太难受了,感觉听不懂,大部分都是各种查资料各种参考555,终于来了个有基础的了5555Language Modeling/语言模型语言建模的任务是预测下一个单词是什么,其实语言模型就是用来判断生产下一个词的概率的一个模型。如下图所示:学生打开了 。到底打开了什么呢?可能是课本,可能是书,可能是电脑...原创 2020-07-07 15:00:06 · 856 阅读 · 1 评论 -
2019年CS224N课程笔记-Lecture 5: Linguistic Structure: Dependency Parsing
资源链接:https://www.bilibili.com/video/BV1r4411补充内容说实话,之前接触过一点nlp,在第五课直接膝盖都跪了,感觉这一章听天书一样,然后发现这一部分知识是我没了解过的,所以看了各种博客和其他视频先去了解了一下~(以下内容算是了解内容的一些搬运和整理吧,资源链接如下:https://zhuanlan.zhihu.com/p/51186364、https://blog.csdn.net/wwx123521/article/details/89636003)句法原创 2020-07-06 22:01:23 · 1694 阅读 · 1 评论 -
2019年CS224N课程笔记-Lecture 4: Backpropagation and Computation Graphs
资源链接:https://www.bilibili.com/video/BV1r4411正课内容神经网络的梯度让我们再看他一下s对w的求导反向传播中梯度的计算(上图的大概意思就是,考虑单个权重Wij的导数,Wij只对zi有贡献,例如W23只对z2有贡献,而对z1没有贡献)对于单个Wij的导数来说,为:我们想要整个 W 的梯度,但是每种情况都是一样的:梯度求导需要注意的小心的定义变量而且要始终关注它们的维度 使用链式法则进行计算 要清楚哪些变量用于哪些计算 对原创 2020-07-03 00:27:28 · 516 阅读 · 0 评论 -
2019年CS224N课程笔记-Lecture 3: Word Window Classification, Neural Networks, and Matrix Calculus
资源链接:https://www.bilibili.com/video/BV1r4411正课内容分类的介绍和概念xi是输入,例如单词、句子、文档(索引或是向量),维度为dyi是我们尝试预测的标签( C个类别中的一个),例如:以一个简单样例为例:对于上图的训练过程如下:任务:固定的二维单词向量分类 (输入是单词向量(2维),输出是单词对应的类别标签,类似于y=ax1+bx2+c) 使用softmax/logistic回归进行分类 产生线性决策边界(绿色和红色的边界).原创 2020-07-02 18:53:37 · 667 阅读 · 1 评论 -
2019年CS224N课程笔记-Lecture 2: Word Vectors and Word Senses
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=1(中英文字母版)word2vec的复习其实没什么内容就是将上节课说的复习了一遍,不过最后又添加了一下新内容,如下:word2vec是根据语义进行训练的,相同语义的词在空间上是比较靠近的,而且能很好的表示类比关系,例如:国王-男人+女人=王后/皇后;相对于瓶子和盖子的关系,类比暖壶,可能输出壶塞。上节课也说了,word2vec的计算是很大的。一种方法是使用SGD/随机梯度下降方法,对于θ(超参数原创 2020-07-01 21:45:55 · 872 阅读 · 2 评论 -
2019年CS224N课程笔记-Lecture 1: Introduction and Word Vectors
资源链接:https://www.bilibili.com/video/BV1r4411f7td?p=1(中英文字母版,不过可能由于up主不了解专业术语,许多专业术语翻译的不是很好,不过也要感谢up的辛苦劳作了~)(2019的感觉相对于之前的少了许多类似前言介绍的内容,我在这里将总结一下之前版本的CS224N的本次课程没讲解的内容)补充的前沿知识:什么是自然语言处理(NLP)?NLP/Natural Language Processing= computer science + artif.原创 2020-07-01 18:10:26 · 1961 阅读 · 3 评论 -
Word2vec浅显的理解
本文主要让你理解Word2vec大概是个什么事情~没有具体原理等~先来说一下Word2vec的产生,其实也和one-hot编码有关系,大家相信100维的向量最多可以表示多少个词?one-hot说,我能表示100个~但是你如果表示所有的单词需要多少维啊...one-hot就数不过来了,太多了(10的五次方级的维度),然后人们就想用一直分布式的方法来表示词,如果100维的向量每个维度都可以取任...原创 2020-03-18 15:20:35 · 4462 阅读 · 0 评论 -
NLP学习-文本特征向量化
首先说一下文本分析流程:现在已经到了流程图的第五块内容了~下面讲述文本特征向量化的相关内容。前面四个模块的完成,意味着我们已经有了以词为单元的数据了,但是有个问题...计算机能直接用这些词来训练吗?答案是不能的,例如如果之前接触过神经网络等概念的,或者自己拿别人模型跑着玩的时候就会发现,训练机是数字数据的时候可以直接用,如果图片、音频等其实也都是转化成数字数据的格式来进行训练的,那...原创 2020-03-16 14:47:27 · 2281 阅读 · 0 评论 -
NLP学习-词形标准化
首先说一下文本分析流程:下面讲述词形标准化的相关内容。在清洗过程中,我们说到了一个处理,就是同音近音近型替换也就是词形规范化,这里就讲述两种实现的方法,如下词干提取(Stemming):基于语言的规则,抽取词的词干或词根形式(不一定能够表达完整语义),方法较为简单。词性还原(Lemmatisation):基于字典的映射,把一个词汇还原为一般形式(能表达完整语义),方法较为复杂...原创 2020-03-13 11:38:45 · 1698 阅读 · 0 评论 -
NLP学习-清洗
首先说一下文本分析流程:关于分词可以看一下:https://blog.csdn.net/RHJlife/article/details/104748790本文将介绍文本分析过程中的文本清洗相关内容。先说一个关于数据清洗的内容:数据重复处理数据错误处理 数据缺失处理 数据异常处理对于我们使用的数据(包括文本、图像、数字信息等)以上操作是必不可少的,但是在文本清洗过程中还...原创 2020-03-13 10:39:15 · 1481 阅读 · 0 评论 -
NLP学习-分词
首先说一下文本分析流程:本文将介绍中文与英文分词的不同、常见的中文分词手段等首先说一下中文与英文文本的特点,通过这些特点你应该能直观的发现他们直接分词的不同了中文:中文没有单词的分割符号,因此需要复杂的分词模型进行分析。(这也是我们重点要讲的) 中文的编码不是utf8,而是unicode。这样会导致在分词的时候,和英文相比,我们要处理编码的问题。 中文纠错的处理比英文更难。...原创 2020-03-09 13:39:09 · 2246 阅读 · 0 评论 -
N-gram模型
什么是N-gram?为了解决自由参数数目过多的问题,引入了马尔科夫假设:随意一个词出现的概率只与它前面出现的有限的n个词有关。基于上述假设的统计语言模型被称为N-gram语言模型,也叫n元文法模型。关于N的取值?1)当n=1时,即一个词的出现与它周围的词是独立,这种我们称为unigram,也就是一元语言模型,此时自由参数量级是词典大小V。2)当n=2时,即一个词的出现仅与它前面的一...原创 2020-03-09 13:34:00 · 2955 阅读 · 0 评论 -
textcnn多分类(keras实现)实例详解
源代码地址:https://github.com/keras-team/keras/blob/master/examples/pretrained_word_embeddings.py这是一个非常经典的代码,我增加了一定的注释和保存模型的代码使用的语料库和数据集都是网站公开数据(百度直接搜索名字都能搜到,下面提供下载地址)预料库:http://nlp.stanford.edu/data...原创 2020-02-01 10:34:47 · 1932 阅读 · 4 评论 -
NLP逻辑回归模型(LR)实现分类问题实例详解
之前写了一个贝叶斯分类的问题,这次使用LR实现一个分类问题(调库实现),首先就是收集数据,这次使用的是一个某简书大佬的一个小项目的数据集(也可以自己收集一个数据集,进行分类),格式如下:1 今天早盘带学员以15元左右买入《300223北京君正》明天有望大涨,请关注 勿追买!金股热线:400-6289775现代投资【国富咨询】0 您尾号7544卡13日14:26网上银行支出(消费)158元。...原创 2020-01-31 17:25:59 · 2419 阅读 · 1 评论 -
NLP贝叶斯分类器实例详解
数据来源为爬虫抓取的天涯论坛数据,使用的分类器为伯努利贝叶斯分类器。(一下代码都复制到一个py文件修改路径后可直接运行)数据为旅游和宾馆两个文件夹,每个文件夹里包含一百个左右的数据文件,文件格式为txt首先引入相关的包from sklearn.feature_extraction.text import CountVectorizerfrom sklearn.feature_ext...原创 2020-01-11 19:56:56 · 827 阅读 · 1 评论