自然语言处理
文章平均质量分 77
猫头丁
这个作者很懒,什么都没留下…
展开
-
许嵩音乐智能问答系统微信小程序之获取数据及文本分类
许嵩音乐智能问答系统微信小程序之获取数据及文本分类数据获取今天我们正式开始获取数据和对文本进行分类,我的信息都还是从百度百科和网易云上获取的,因为信息量比较少就没有使用爬虫,直接自己手动获取,然后复制在excel里面。主要获取的信息有个人信息演唱会专辑为他人创作歌曲歌曲关键词推荐文本分类获取了这些信息以后,我们就先将此次的文本分类任务定为这7大类,接下来我们开始训练分类模型。首先我们先获取训练好的文本数据集,关于这7大类的询问方式找不到现成的,我就自原创 2021-06-15 16:03:17 · 510 阅读 · 4 评论 -
许嵩音乐智能问答系统微信小程序之客服聊天室
许嵩音乐智能问答系统微信小程序之客服聊天室项目简介.音乐播放器搭建.获取数据及文本分类智能客服聊天界面.连接前端微信小程序输入和后端python,并返回值连接知识图谱你还在为因为性格腼腆不知道如何对女朋友说出“宝贝,我爱你”而发愁吗?你还在为和女朋友吵架不知道如何开口说道歉而发愁吗?你还在用俗套的不同意就关不上的表白窗口进行表白吗?兄弟们,快来看看这个微信小程序的聊天室吧,把你想说的话都告诉她,让她知道你对他的爱吧!众所周知,女生是一种非常注重仪式感的生物,在她们心目中说话无论是表白还是原创 2021-06-07 16:51:37 · 6571 阅读 · 6 评论 -
许嵩音乐智能问答系统微信小程序之音乐播放器
许嵩音乐智能问答系统微信小程序之音乐播放器 - 项目简介音乐播放器搭建.获取数据及文本分类连接前端微信小程序输入和后端python,并返回值连接知识图谱你还在为白色情人节、黑色情人节、五颜六色情人节该送女朋友什么礼物二发愁吗?你还在为不知道怎么博得女神欢心只能做舔狗发愁吗?你还在被人说不懂浪漫,不懂得制造惊喜而发愁吗?兄弟们,来看看这个私人订制的音乐播放器吧!众所周知,女生是一种非常喜欢追星的生物,在她们心目中往往偶像的地位至高无上。如果你摸清楚她们的喜好,定制一款私人音乐播放器,在节日的时原创 2021-06-07 15:48:43 · 643 阅读 · 2 评论 -
自然语言处理最终篇之许嵩音乐智能问答系统微信小程序
自然语言处理最终篇之许嵩音乐问答智能系统微信小程序最近感觉自己好久没更新CSDN了,因为正在忙着准备期末考试,不过没想到最近竟然还有几个小伙伴来关注我,真的非常开心。这学期的自然语言处理篇马上就要完结了,从简单的分词到词义消歧、文本分类,现在已经掌握了些最基础的NLP技术,于是,打算写一个《最终篇》,嘿嘿,感觉有一点点的中二哦,本来想取名为完结篇,后来还是觉得最终篇霸气一点。感觉一篇文章可能写不完,先写个目录吧,等我一篇篇写完,会把链接全部粘贴过来的。项目简介音乐播放器搭建获取数据及文本分类连原创 2021-06-07 11:29:52 · 510 阅读 · 3 评论 -
自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧
自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧NLP中进行词义消歧的一个非常方便且简单的方法就是训练词向量,通过词向量计算余弦值,来推断某个词在句子中的含义。python中的gensim提供了一个非常方便的方法,一句话就可以训练词向量。不过嘛,正如我们想的那样,肯定是语料库越大越好,但越大呢就训练的时间越长,这也是没办法的事情。我建议大家用GPU来训练,当当当,强烈推荐AIstudio,非常好用,免费GPU10小时,不用白不用。完整项目的aistudio链接:https://a原创 2021-05-21 10:51:26 · 1462 阅读 · 5 评论 -
Stanford CoreNLP句法分析可视化及保存在json文件中
Stanford CoreNLP句法分析可视化及保存在json文件中在上篇文章中,我们已经进行了Stanford CoreNLP的安装和简单使用,今天我们对它进行句法分析的可视化,听着很高级有没有,其实非常简单。先把上次的完整代码回顾一下:import jsonimport warningswarnings.filterwarnings('ignore')from stanfordcorenlp import StanfordCoreNLP#如果要用其他语言,需要单独设置nlp = Stan原创 2021-05-07 08:55:04 · 1232 阅读 · 0 评论 -
Stanford CoreNLP超简单安装及简单使用,句法分析及依存句法分析
Stanford CoreNLP超简单安装及简单使用,句法分析及依存句法分析,使用jupyter notebook今天我们来使用Stanford CoreNLP进行简单的句法分析,我使用的是jupyter notebook。网上关于Stanford CoreNLP工具的安装五花八门,大家其实完全没必要看,在jupyter notebook上面一句话就行了。Stanford CoreNLP安装首先安装Stanford CoreNLP工具,代码:!pip install stanfordcorenlp原创 2021-05-07 08:45:02 · 7612 阅读 · 13 评论 -
HanLp句法分析和依存句法可视化、保存到json文件中
HanLp句法分析和依存句法可视化、保存到json文件中依存句法可视化本来是想自己做一个可视化,无奈是在是太麻烦,自己的水平不允许我用python实现可视化,所以只能求助外界工具了。幸好有一个非常好用的工具,我们可以使用南京大学开发的dependence viewer来进行可视化。这个下载非常方便,大家可以百度一下。我们每次将HanLp依存句法分析结果保存在txt文件中,然后用dependence viewer打开就可以了。还是以“我希望所有喜欢我的人都能够幸福平平安安的过好这一辈子”为例,保存原创 2021-04-29 12:54:47 · 1258 阅读 · 2 评论 -
HanLp句法分析和依存句法分析,超简单安装,使用AIStudio
HanLp句法分析和依存句法分析,超简单安装,使用AIStudio今天我们来进行句法分析,使用HanLP。关于这个的安装网上的说法各种各样,我不太喜欢配置环境或者在自己的电脑上安装各种包,因为我总是记不住路径什么的。所以为了方便,我们还是使用AIStudio来完成这次实验,安装只需要一句话,非常方便。本次我选择的语料是王一博的语录,嘿嘿,看我的名字相信大家也能猜出来,其实我是王一博的粉丝哦。所以这次就选择了王一博的一些话,在做的时候看着这些话,就觉得很开心。我们来看一下文本吧接下来我们来正式进入实验原创 2021-04-29 12:29:46 · 893 阅读 · 1 评论 -
使用anaconda配置python3.6环境安装pyltp超详细教程,使用pycharm调用
使用anaconda配置python3.6环境安装pyltp超详细教程,使用pycharm调用看了一堆网上的安装教程,有的写得太简单,有的太复杂,本菜鸡根本看不懂在说什么,看了好几篇才整明白是怎么回事,必须要记录一下,真正的安装pyltp傻瓜教程,绝对详细,一步一步安装。配置python3.6环境因为我的pycharm使用的python3.7,但是pyltp只能是python3.6,所以我们先来配置环境。其实非常简单,相信大家应该都已经安装好了anaconda,我们只要再anaconda上面新配置一个原创 2021-04-25 23:24:08 · 11681 阅读 · 21 评论 -
使用jieba、前向最大匹配算法、后向最大匹配算法分词
使用jieba、前向最大匹配算法、后向最大匹配算法分词今天我们开始分词,我整理了王家卫电影里的一些台词,总共有79条,分别出自比较有名的《东邪西毒》、《春光乍泄》、《重庆森林》,这个数据集是这样的。前向最大匹配算法这个算法的思想非常简单,就是从句子的最开始找词典中与它匹配的最长的词,然后不断向后推进,直到完成整个句子的单词配对。建立词典循环查找配对单词首先先来建立词典,按理说应该是手动建立,不过这么多词,确实有点为难俺老丁了,就用jieba分词结果来建立词典吧代码如下:import j原创 2021-04-12 14:13:00 · 2956 阅读 · 8 评论 -
统计中英文文章中汉字个数字频或单词个数词频
统计中英文文章中汉字个数字频或单词个数词频统计中文文章中汉字个数和字频要求给出前100个汉字高频字的频率统计结果;分别给出前1、20、100、600、2000、3000汉字的字频总和;计算汉字的熵值;选择的是三国演义的语料,内容如下:我使用的是python来进行分析,感觉还是Python比较简单一点,而且非常方便,代码很少就能实现很多功能。各个汉字出现个数首先我们来统计每个汉字在文章中出现的个数,将txt文本逐行读取字符存入列表中,接着,读取之前建立好的列表,首先判断是否为汉字,即判断原创 2021-04-05 09:47:36 · 1119 阅读 · 3 评论