自然语言处理
文章平均质量分 93
陈同学_alex
这个作者很懒,什么都没留下…
展开
-
NLP-结巴分词
结巴分词结巴分词是有国内程序员(https://github.com/fxsjy/jieba)做的一个分词工具,刚开始是Python版本的,后来由anderscui(https://github.com/anderscui/jieba.NET )移植到.Net上面。结巴分词的分词过程大致为:·前缀词典(Trie):用于存储主词典,也可以动态增删词条,这个词典可以理解为jieba所“知道”的词,或者说已登录词;·有向无环图(DAG):通过前缀词典,可以找出句子所有可能的成词结果;·最大概率原创 2021-08-21 11:01:25 · 2274 阅读 · 0 评论 -
聊天机器人-ChatterBot初试
聊天机器人ChatterBotChatterBot是一个基于Python的开源聊天机器人框架。ChatterBot支持中文,且可以在对话中实时改进。一个未经训练的ChatterBot实例开始时不知道如何通信。每次用户输入语句时,库都会保存他们输入的文本以及语句响应的文本。当ChatterBot收到更多输入时,它可以回复的响应数量以及与输入语句相关的每个响应的准确性都会增加。程序通过搜索与输入匹配的最接近的匹配已知语句来选择最接近的匹配响应,然后从选择对该语句的已知响应中选择...原创 2021-08-21 10:59:58 · 1226 阅读 · 0 评论 -
聊天机器人概述
目录<span style="color:#333333"><span style="background-color:#f5f5f5">1.前言2.机器人3.聊天机器人4.分类5.好的聊天机器人应该具备的特点6.基于模板的聊天机器人7.检索式聊天机器人8.生成式聊天机器人9.参考文献</span></span>前言 网上的资料太乱了,参考着网上的文章写了这篇关于聊天机器人的概述文章,文章的很多内容并非原...原创 2021-08-21 10:58:32 · 2935 阅读 · 0 评论 -
聊天机器人-AIML人工智能标记语言
目录<span style="color:#333333"><span style="background-color:#f5f5f5">1.AIML简介2.AIML的安装3.AIML的使用4.AIML语法简介5.添加多个AIML文件6.加速AIML的载入7.会话和谓词</span></span>AIML简介 AIML,全名为A...原创 2021-08-21 10:54:24 · 2432 阅读 · 1 评论 -
神经网络语言模型
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-48.html语言模型语言模型是自然语言处理的一大利器,是NLP领域一个基本却又重要的任务。它的主要功能就是计算一个词语序列构成一个句子的概率,或者说计算一个词语序列的联合概率,这可以用来判断一句话出现的概率高不高,符不符合我们的表达...原创 2019-10-22 11:26:16 · 1225 阅读 · 0 评论 -
Self Attention和Multi-Head Attention的原理和实现
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-47.html引言使用深度学习做NLP的方法,一般是将单词转换为词向量序列,然后通过神经网络编码或者说提取这些词向量中的特征信息,继而根据不同任务进行不同的操作。提取特征的第一个方法是使用卷积神经网络,RNN结构简单,非常适合序列建模...原创 2019-10-22 11:22:17 · 26578 阅读 · 7 评论 -
基于Attention的自动标题生成
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-46.htmlAttention原理在自然语言处理中,最基本的文本生成框架是seq2seq。seq2seq由编码器和解码器组成,编码器把输入文本的词法、句法和语义等特征编码成语义向量,解码器根据语义向量解码成目标文本。框架表示如下:...原创 2019-10-22 11:16:52 · 1697 阅读 · 1 评论 -
基于CNN+MFCC的语音情感识别
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-45.html近年来 ,随着信息技术的飞速发展 ,智能设备正在逐渐地融入到人们的日常生活当中 ,语音作为人机交互的最为便捷的方式之一 ,得到了广泛的应用。让机器听懂人类语言的同时 ,如何实现与人类有感情的自然交流 ,是无数科研工作者的目标。语音情感识别...原创 2019-08-26 11:53:01 · 15517 阅读 · 15 评论 -
基于BiLSTM的对话文本情感分析
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-38.html文本情感分析文本情感分析:又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网(如博客和论坛以及社会服务网络如大众点评)上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值...原创 2019-08-15 23:35:32 · 7093 阅读 · 1 评论 -
聊天机器人-基于QQ聊天记录训练
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-39.html本文介绍了基于keras框架,使用seq2seq模型,如何使用自己的QQ聊天记录训练一个 聊天机器人——另一个’你‘。NLP使我快乐!这段时间在写Unity的同时也会看下NLP的知识,这不刚学了seq2seq,就想着用自己过去一年来...原创 2019-08-14 16:13:23 · 6107 阅读 · 6 评论 -
字符级Seq2Seq-英语粤语翻译的简单实现
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-40.html前一篇文章中使用简单的seq2seq搭建了单词级聊天机器人《聊天机器人-基于QQ聊天记录训练》,里面也简单介绍了seq2seq的原理。这里尝试用seq2seq做一下字符级的翻译:英语->粤语。 seq2seq的训练过程是't...原创 2019-08-14 16:05:59 · 798 阅读 · 0 评论 -
RNN、LSTM、GRU的原理和实现
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-41.html 用python实现了经典的RNN,LSTM和GRU单元以便更加深入的理解。RNN你在阅读这个句子时,你是一个词一个词地阅读(或者说,眼睛一次扫视一次扫视地阅读),同时会记住之前的内容。这让你能够动态理解这个句子所传达的...原创 2019-08-14 16:03:04 · 2914 阅读 · 0 评论 -
Python语音信号处理
个人博客:http://www.chenjianqu.com/原文链接:http://www.chenjianqu.com/show-44.html语言信息是多种信息的混合载体 ,其中包括内容信息、说话人信息和情感信息。本文介绍了一些语音的基本知识,和使用Python进行处理。时域特征使用wave模块读取wav音频文件,画图时域图像,代码如下。import ...原创 2019-08-14 16:00:22 · 5686 阅读 · 0 评论