一.NLP 中文自然语言处理
NLP (Natural Language Processing) 是人工智能(AI)的一个子领域。自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一,而对自然语言处理的研究也是充满魅力和挑战的。
SuperBigData~
大数据行业热爱者,欢迎交流学习,共同进步
展开
-
清华分词工具包 -- THULAC
今天就不看美图欣赏了(haha),你们别上瘾了清华THUNLP:一.THULAC介绍THULAC:一个高效的中文词法分析工具包THULAC(THU Lexical Analyzer for Chinese)由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包,具有中文分词和词性标注功能。THULAC具有如下几个特点:能力强。利用我们集成的目前世界上规...原创 2020-04-07 20:50:23 · 8189 阅读 · 0 评论 -
北大分词工具包 -- pkuseg
美图欣赏:一.pkuseg介绍一个多领域中文分词工具包其简单易用,支持细分领域分词,有效提升了分词准确度。pkuseg具有如下几个特点:多领域分词。不同于以往的通用中文分词工具,此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点,用户可以自由地选择不同的模型。 我们目前支持了新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型。在使用...原创 2020-04-07 18:35:17 · 4431 阅读 · 0 评论 -
自然语言中最好中文分词 -- jieba
美图欣赏:一.jieba介绍 二.jieba特征 三.jieba安装 四.代码实现原创 2020-04-06 18:04:16 · 4106 阅读 · 0 评论 -
HanLP 汉语言处理
美图欣赏:一.HanLP简介HanLP是由一系列模型与算法组成的工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点;提供词法分析(中文分词、词性标注、命名实体识别)、句法分析、文本分类和情感分析等功能。HanLP已经被广泛用于Lucene、Solr、ElasticSearch、Hadoop、Android、Resin等...原创 2020-04-06 02:12:48 · 4738 阅读 · 0 评论 -
情感分析SnowNLP--中文分析
美图欣赏:一.SnowNLP简介SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行deco...原创 2020-04-04 16:14:40 · 7368 阅读 · 0 评论 -
情感分析textblob--英文分析
美图欣赏:一.原创 2020-04-03 16:45:47 · 8520 阅读 · 0 评论 -
利用NLTK做中英文分词
美图欣赏:一.NLTK环境配置1.安装nltk包(如果开始能装 忽然爆红 多装几次)pip install nltk2.在python consol里面 //1.先导入包 import nltk //2.下载基本的数据 nltk.download() 注:如果在线下载失败,可以自行官网下载 然后放到指定文件夹。二.利用NLTK做英文分词这里选用的是anaconda做...原创 2020-04-01 14:48:17 · 10475 阅读 · 11 评论