![](https://img-blog.csdnimg.cn/20191129150102669.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
nlp入门
nlp自然语言处理入门
方兵兵
大数据开发工程师
展开
-
nlp分词之pkuseg
北大的分词工具(1)多领域分词。新闻、科研、网络、医药、旅游、金融、工业。(2)更高的分词准确率(3)支持用户自训练模型,支持用户使用全新的标注数据进行训练。如果PyPI官方源下载速度不理想建议使用镜像源,比如初次安装:pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pkuseg医药领域的模型下载地址:https:/...原创 2019-11-29 19:54:20 · 725 阅读 · 1 评论 -
nlp之jieba分词
“结巴”中文分词:做最好的 Python 中文分词组件安装jieba全自动安装:easy_install jieba 或者 pip install jieba / pip3 install jieba半自动安装:先下载 http://pypi.python.org/pypi/jieba/ ,解压后运行 python setup.py install手动安装:将 jieba 目录放置于当前目...原创 2019-11-29 18:52:19 · 350 阅读 · 0 评论 -
nlp之HanLP
HanLP是一系列模型与算法组成的NLP工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。安装hanlpstep1:下载jpype1.whl,https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype然后Terminal或者cmd里面pip install 路径/JPype1-0....原创 2019-11-29 17:48:35 · 1696 阅读 · 0 评论 -
nlp分词之SnowNLP
SnowNLP简介SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成unicode...原创 2019-11-29 17:14:19 · 3184 阅读 · 1 评论 -
nlp分词之TextBlob
TextBlobTextBlob是用于处理文本数据的Python(2和3)库。它提供了一个一致的API,可用于深入研究普通自然语言处理(NLP)任务,例如词性标记,名词短语提取,情感分析等。主要用于英文的分词,不适用于中文安装TextBlob可以在PyCharm开发工具中Python Console窗口用pip install textblob词性标注from textblob imp...原创 2019-11-29 16:29:46 · 1966 阅读 · 0 评论 -
nlp入门简介
NLP自然语言处理NLP(Natural Language Processing,NLP)基本定义(1)定义:计算机科学、人工智能、语言学。处理计算机和人类自然语言之间的相互作用关系。信息自动提取、自动摘要、智能问答、智能推荐、情感分析。(2)自然语言理解(Natural Language Understanding,NLU):让计算机来听懂语言。查询资料、解答问题、摘录文献、汇编资料等...原创 2019-11-29 15:29:16 · 258 阅读 · 0 评论