nlp
文章平均质量分 84
AI小白入门
公众号:StudyForAI
知乎:https://www.zhihu.com/people/yuquanle/columns
展开
-
自然语言处理相关技术与任务简介
更多学习笔记关注:公众号:StudyForAI知乎专栏:https://www.zhihu.com/people/yuquanle/columns自然语言处理(NLP)是人工智能的一个重要应用领域,由于本人主要研究方向为NLP,也由于最近学习的需要,特意搜罗资料,整理了一份简要的NLP的基本任务和研究方向,希望对大家有帮助。自然语言的发展: 一般认为1950 年图灵提出著名的“图灵测试”是自...原创 2018-11-22 18:45:47 · 5781 阅读 · 3 评论 -
自然语言处理基础技术工具篇之NLTK
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAINLTK简介NLTK被称为“使用Python进行计算语言学教学和工作的绝佳工具”。 它为50多种语料库和词汇资源(如WordNet)提供了易于使用的界面,还提供了一套用于分类,标记化,词干化,...原创 2019-01-05 21:03:12 · 2254 阅读 · 0 评论 -
自然语言处理基础技术工具篇之Stanfordcorenlp
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:人工智能小白入门学习ID: StudyForAIStanfordcorenlp简介Stanford CoreNLP提供了一套人类语言技术工具。 支持多种自然语言处理基本功能,Stanfordcorenlp是它的一个python接口。...原创 2019-01-05 20:46:11 · 3642 阅读 · 2 评论 -
自然语言处理基础技术工具篇之SnowNLP
SnowNLP简介SnowNLP是一个可以方便的处理中文文本内容的python类库,是受到了TextBlob的启发而写的,和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。Github地址:isnowfy/snownlpSnowNLP主要功能包括分词、词性标注、情感分析、汉字转拼音、繁体转简体、关键词提取以及文本摘要等等。安装:pip i...原创 2019-01-05 20:22:38 · 2280 阅读 · 0 评论 -
自然语言处理基础技术工具篇之HanLP
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84849419另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAIHanlp简介HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主...原创 2018-12-07 11:24:24 · 1716 阅读 · 1 评论 -
自然语言处理基础技术工具篇之Jieba
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84831982另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI没想到坚持学习以及写作总结已经超过半个月了,谢谢大家的关注、点赞、收藏~~...原创 2018-12-06 11:15:22 · 1430 阅读 · 0 评论 -
自然语言处理基础技术之组合范畴文法
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84712213另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI之前在读论文的时候看到CCG这个概念,所以之查阅学习了一波~~定义:...原创 2018-12-03 17:38:45 · 3068 阅读 · 7 评论 -
自然语言处理基础技术之语义角色标注实战
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84721576另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAInlpnet语义角色标注安装:pip install nlpnet国内源...原创 2018-12-05 13:31:42 · 2447 阅读 · 2 评论 -
自然语言处理基础技术之成分句法分析
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84645682另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI首先依旧来查查它的定义:百度百科定义:句子的组成成分叫句子成分,也叫句...原创 2018-12-01 09:31:34 · 3403 阅读 · 0 评论 -
自然语言处理基础技术之命名实体识别简介
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84553960另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI整理一波关于命名实体识别方面的知识,希望对大家有帮助~~命名实体识别定义:...原创 2018-11-27 19:06:35 · 4435 阅读 · 0 评论 -
自然语言处理基础技术之依存句法分析实战
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84639081另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAIStanford CoreNLP依存句法分析(dependency pars...原创 2018-11-30 11:08:59 · 2161 阅读 · 0 评论 -
自然语言处理基础技术之语义角色标注
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84712213另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI今天是总结nlp基础技术的最后一篇,后面开始工具实战篇,我觉得实践对新手小白...原创 2018-12-04 15:04:40 · 2829 阅读 · 0 评论 -
自然语言处理基础技术之依存句法分析
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84592596另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI句法分析(syntactic parsing)是自然语言处理中的关键技术之一...原创 2018-11-29 20:07:02 · 5480 阅读 · 2 评论 -
自然语言处理基础技术之词性标注实战
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84502176另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAIjieba词性标注(part of specch)安装:pip insta...原创 2018-11-26 18:12:33 · 1940 阅读 · 0 评论 -
自然语言处理基础技术之成分句法分析实战
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84645682另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAIStanford CoreNLP句子成分分析(constituency pa...原创 2018-12-02 14:21:56 · 2184 阅读 · 0 评论 -
自然语言处理基础技术工具篇之spaCy
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIspaCy简介spaCy是世界上最快的工业级自然语言处理工具。 支持多种自然语言处理基本功能。官网地址:https://spacy.io/spaCy主要功能包括分词、词性标注、词干化、命名...原创 2019-01-05 20:50:37 · 2094 阅读 · 0 评论 -
自然语言处理基础技术工具篇之Pyltp
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIpyltp简介LTP提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。Pyltp是其的python接口。官网地址:https://www...原创 2019-01-05 20:52:48 · 1091 阅读 · 0 评论 -
干货|自然语言处理初学者个人建议及超多资料推荐
2018年快要过去了2019年马上要来了春节,想和大家聊聊少侠请留步其实是借此机会给大家拜年呀原创 2019-02-04 20:42:21 · 2240 阅读 · 1 评论 -
自然语言处理中注意力机制综述
目录写在前面Seq2Seq 模型NLP中Attention mechanism的起源NLP中的注意力机制4.1 Hierarchical Attention4.2 Self-Attention4.3 Memory-based Attention4.4 Soft/Hard Attention4.5 Global/Local Attention评价指标写在后面参考文献近些年来...原创 2019-01-19 15:04:22 · 5236 阅读 · 1 评论 -
自然语言处理基础技术工具篇之PKUSeg
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIPKUseg简介简单易用,支持细分领域分词,有效提升了分词准确度,支持用户自训练模型。支持用户使用全新的标注数据进行训练。多领域分词。不同于以往的通用中文分词工具,此工具包同时致力于为...原创 2019-01-12 13:16:13 · 2555 阅读 · 0 评论 -
自然语言处理基础技术工具篇之Flair
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair简介Flair是最近开源的一个基于Pytorch的NLP框架,据官方github介绍,它具有以下特点:一个功能强大的NLP库。 Flair允许您将最先进的自然语言处理(NLP...原创 2019-01-07 10:43:54 · 2025 阅读 · 2 评论 -
工具篇Flair之训练自己的Flair Embeddings
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程之如何训练自己的Flair Embeddings教程地址:https://github.com/zalandoresearch/flair/blob/master/res...原创 2019-01-17 17:11:21 · 1404 阅读 · 0 评论 -
工具篇Flair之优化模型教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程之如何优化自己的模型教程地址:https://github.com/zalandoresearch/flair/blob/master/resources/docs/T...原创 2019-01-17 17:08:39 · 2810 阅读 · 9 评论 -
工具篇Flair之训练模型教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程之如何训练自己的模型教程地址:https://github.com/zalandoresearch/flair/blob/master/resources/docs/TU...原创 2019-01-17 17:03:35 · 3810 阅读 · 9 评论 -
工具篇Flair之使用加载语料库教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程之如何加载自己的语料库本教程的展示了如何加载自己的语料库,以便训练自己的模型。教程地址:https://github.com/zalandoresearch/flair...原创 2019-01-17 16:54:44 · 3222 阅读 · 2 评论 -
工具篇Flair之文档嵌入教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair文档嵌入教程文档嵌入与单词嵌入不同之处在于它们为您提供了一个嵌入整个文本的内容,而文字嵌入则为您提供了嵌入单个单词的内容。所有文档嵌入类都继承自DocumentEmbeddi...原创 2019-01-17 15:57:34 · 776 阅读 · 2 评论 -
工具篇Flair之使用词向量教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程教程三: 如何使用词向量教程地址:https://github.com/zalandoresearch/flair/blob/master/resources/d...原创 2019-01-17 15:50:48 · 1642 阅读 · 2 评论 -
工具篇Flair之使用预训练模型教程
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAIFlair工具使用教程教程二: 如何使用预先训练的模型标记您的文本。使用预训练模型进行标记让我们使用预先训练的模型进行命名实体识别(NER)。 该模型通过英语CoNLL-03任务进行...原创 2019-01-17 15:36:35 · 1243 阅读 · 0 评论 -
TextBlob实战之朴素贝叶斯文本分类
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAITextBlob实现文本分类一个使用TextBlob进行Naive Bayes classifier参考:https://textblob.readthedocs.io/en/dev/cla...原创 2019-01-05 21:12:27 · 1421 阅读 · 7 评论 -
自然语言处理基础技术工具篇之TextBlob
更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns微信订阅号:AI小白入门ID: StudyForAITextBlob简介TextBlob是一个用Python编写的开源的文本处理库。它可以用来执行很多自然语言处理的任务,比如,词性标注,名词性成分提取,情感分析,文本翻译,等等。Github地...原创 2019-01-05 21:07:10 · 1874 阅读 · 0 评论 -
自然语言处理基础技术之命名实体识别实战
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84553960另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAIStanford CoreNLP命名实体类识别安装:pip install...原创 2018-11-28 21:12:56 · 2715 阅读 · 0 评论 -
自然语言处理基础技术之词性标注
声明:转载请注明出处,谢谢:https://www.jianshu.com/p/940464a662b0另外,更多实时更新的个人学习笔记分享,请关注:知乎:https://www.zhihu.com/people/yuquanle/columns公众号:StudyForAI今天总结一下自然语言处理之词性标注,后附现有比较好的开源实现工具(基于python实现包)~~~词性定义百度...原创 2018-11-25 20:35:18 · 3447 阅读 · 0 评论 -
NLP期刊
自然语言处理(natural language processing,NLP)在很大程度上与计算语言学(computational linguistics,CL)重合。NLP/CL有一个属于自己的最权威的国际专业学会,叫做The Association for Computational Linguistics(ACL,URL:http://aclweb.org/),这个协会主办了NLP/CL领域最原创 2017-07-24 10:54:23 · 12894 阅读 · 2 评论 -
使用fastText进行文本分类
fastText文本分类学习笔记文本分类,linux命令行: ./fasttext supervised -input train.txt -output model训练集train.txt的输入格式为: 标签是以字符串label作为前缀的单词,后面的数字对应类别。一旦模型被训练,您可以通过使用以下方法计算测试集上的k的精度和召回率来对其进行评估:$ ./fasttext test mode原创 2017-07-10 01:10:26 · 6206 阅读 · 0 评论 -
Stanford Log-linear Part-Of-Speech Tagger学习
主页:https://nlp.stanford.edu/software/tagger.html下载: basic English Stanford Tagger version 只包括训练好的英文模型,而 full Stanford Tagger version 包括多种语言模型,其中有英文,中文,德语等模型。一个简单的Demo:import java.io.IOException; imp原创 2017-07-03 20:38:19 · 2343 阅读 · 0 评论 -
词性标注
词性标注(Part-of-Speech tagging 或POS tagging),又称词类标注或者简称标注,是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或其他词性的过程。词性标注是自然语言处理的一个基本任务。词性标注现在有基于很多语言的实现,其中包括stanford开源的实现,还有python NLTK的实现。原创 2017-07-03 20:29:36 · 1822 阅读 · 0 评论 -
Stanford NER学习笔记
Stanford NER是一款斯坦福大学开源的命名实体类识别工具,此工具java实现。主页地址:https://nlp.stanford.edu/software/CRF-NER.html介绍: Stanford NER是一个斯坦福大学开源的命名实体类识别工具,基于Java实现。Stanford NER也被称为CRFClassifier。该软件提供(任意顺序)线性链条件随机场(CRF)序列模型的原创 2017-07-03 20:05:13 · 3987 阅读 · 2 评论 -
命名实体类
什么是命名实体识别:命名实体识别是将文本中的元素分成预先定义的类,如人名、地名、 机构名、时间、货币等等。作为自然语言的承载信息单位,命名实体识别 属于文本信息处理的基础的研究领域,是信息抽取、信息检索、机器翻译、 问答系统等多种自然语言处理技术中必不可少的组成部分。传统的 NER 任务主要是对七大类的识别:命名实体识别主要分类,一般包括 3 大类(实体类、时间类和数字类)和 7 小类(人名、地名、原创 2017-07-03 00:32:39 · 2952 阅读 · 0 评论 -
关系抽取学习笔记
什么是关系抽取: 关系抽取式从文本中抽取特定的关系,以及具有这种关系的实体。 目前将关系抽取划分为两个阶段研究:特定领域的传统关系抽取和开放领域的关系抽取。关系抽取数据集: ACE04,05,SemEval Task8,openIE关系抽取经典的方法和应用:目前远程监督的方法比较占优,除了远程监督之外还有二种常见的,一种是 Bootstrapping,代表系统是 NELL,还原创 2017-07-03 00:28:57 · 5617 阅读 · 1 评论 -
文本摘要
自动文摘出现的重要原因之一是信息过载问题。自动文摘要解决的问题描述很简单,就是用一些精炼的话来概括整篇文章的大意。目前有二种流派,一种是extractive,抽取式的,从原文中找到一些关键的句子,组合成一篇摘要;另外一种是abstractive,摘要式的,这需要计算机可以读懂原文的内容,并且用自己的意思将其表达出来。人类语言包括字、词、短语、句子、段落、文档这几个level,研究难度依次递增,理解句原创 2017-07-11 00:17:05 · 2246 阅读 · 0 评论