![](https://img-blog.csdnimg.cn/6214e57155ba4583a613631873509dfc.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
/study/AI/聊天机器人/《智能聊天机器人》-学习笔记
《智能聊天机器人》-黄申老师著作-学习笔记。
机器学习0基础毕设。
会有钱的-_-
一只小菜鸟
展开
-
3.3.2-中文分词
目录中文分词基于字典的匹配算法基于统计的算法中文分词基于字典的匹配算法人工建立的大规模字典若一个字符串和字典中的某一个词条匹配成功,认为该字符串表示一个中文词。匹配的策略包括正向最大匹配,系统会从左往右扫描字符串,发现能和字典词条匹配的最长字符串,作为1个中文词,匹配不到,右端减少1个词,剩下部分重复上述步骤。基于统计的算法...原创 2022-03-03 09:57:46 · 76 阅读 · 0 评论 -
3.3.1-取词干和词形还原
目录取词干和词形还原取词干实例词形还原取词干和词形还原是词形归并。目的:减少词的变化形式,将派生词转化为基本形式。优点1:字典中词条的数量就会降低,用于表示文档的向量维度更低,模型的数据量会缩小。优点2:通过词干和词形的关联,还能发掘不同形式的单词间存在的语义上的关联。取词干通过一定的语言学规则去除或者变换单词的后缀,让其变短,处理后的词干往往不是一个正确的英文单词。可以借助 PorterStemming算法实例 from nltk import PorterStemmer原创 2022-03-02 22:48:20 · 201 阅读 · 0 评论 -
3.2.8-语法分析和语义分析
目录语法分析实例语法分析主要包括形式化语法、语法树和语法解析器。一种常见的形式化语法框架=”生成文法“实例import nltk from nltk import CFG simple_grammar = CFG.fromstring(""" S -> NP VP PP -> P NP NP -> Det N | Det N PP | 'Bob' VP -> V NP | VP PP原创 2022-03-02 16:12:18 · 366 阅读 · 0 评论 -
3.2.7-实体识别
目录实体识别实例实体识别专门识别文本中具有特定意义的实体。类似于词性标注。借助Stanford named entity recognizer。实例 import nltk from nltk.tag import StanfordNERTagger as snt from pathlib import Path # 初始化斯坦福大学 提供的 StanfordNERTagger # 第一个参数 表示 通过英语语料训练得到的 模型数据 # 第二个原创 2022-03-02 15:40:01 · 413 阅读 · 0 评论 -
3.2.6-词性标注
目录词性标注基于人工规则的方法CRF模型词性标注闭合类词性这类词只包含固定的一些词,不会随着新的语料或者词汇的出现而增加。开放类词性会随着新的语料或者词汇的出现而增加,比如名称、动词等。计算机需要根据具体上下文环境,尽量消除可能的歧义,并判断单词的词性。基于人工规则的方法,进行歧义消除,确定每个词的最终的词性。如隐马尔科夫模型HMM、条件随机向量场CRF。基于统计的方法。基于人工规则的方法通过字典为每个词指定潜在的词性列表。使用大量的人造规则进行歧义消除。CRF模型需原创 2022-03-02 14:03:39 · 108 阅读 · 0 评论 -
3.2.5-语义相关的词
目录语义相关的词WordNet上下位关系分析潜在语义分析Word2Vec语义相关的词例如,‘学生’、‘老师’、‘大学’等。系统可以基于概念进行处理,而不用仅依赖于精确匹配的关键词。常见的方法:WordNet上下位关系分析潜在语义分析(Latent Semantic Analysis,LSA)基于神经网络的Word2VecWordNet上下位关系分析上位词表示更为抽象概念,下位词表示更具体概念。借用hypernyms()上位词 和 hyponyms()下位词函数。WordNet原创 2022-03-02 12:36:34 · 678 阅读 · 0 评论 -
3.2.4-词袋模型和TF-IDF机制
目录词袋模型编码方式TF-IDF机制设定计算方式实例词袋模型自然语言处理领域十分常用的文档表示方法。句子或者一篇文档,用一堆单词表示,且不考虑单词出现的顺序、句法以及文法,且认为每个单词的出现独立。编码方式这种词向量的编码方式称为独热编码或独热表示。构造字典,单词无重复,每一句话可以用字典个数n的n维向量表示。向量的每一维都表示1个单词,且这一维分量表示该单词在这句话中出现的次数。该编码方式不考虑单词间的位置关系,会导致词向量非常稀疏。TF-IDF机制TF:Term Freque原创 2022-03-01 19:08:50 · 868 阅读 · 0 评论 -
3.2.3-多元语法
目录多元语法(N-gram)二元语法模型优点缺点多元语法(N-gram)自然语言处理的常见技术。N表示任何一个词出现的概率只和其前面的N-1个词有关。二元语法模型表示某一个单词出现的频率只和其前面的1个词有关。即1个词出现在1个很长的句子中,只需要看其前面那一个1个单词。优点考虑到上下文的含义,并弥补单个单词表达力的不足。缺点增加了数据的存储量。没有考虑处理后的结果是否有正确的语法和语义。...原创 2022-03-01 15:49:54 · 80 阅读 · 0 评论 -
3.2.1-停用词
目录停用词意义停用词的界定字典单词的文档频率(Document Frequency,DF)停用词处理程序实例NLTK(Natural Language Toolkit)语料库停用词意义在自然语言中,存在一些对理解而言意义不大的词,如中文中的“的、个、你”等。系统在处理文本时,可以直接忽略停用词。可以在基本不损失语义的情况下,提升系统的处理效率。停用词的界定字典根据停用词的字典,直接将字典内的词过滤。单词的文档频率(Document Frequency,DF)若DF低于或高于一定的阈值,原创 2022-03-01 14:05:19 · 1322 阅读 · 0 评论 -
3.2-常见NLP技术
目录通用的处理技术基础技术复杂技术通用的处理技术基础技术停用词(Stopword)和同义词(synonym)TF-IDF(Term Frequency-Inverse Document Frequency)机制多元语法(N-gram)词袋(Bag of Word)模型复杂技术语义相关词词性标注(Part of Speech Tagging)实体识别(Entity Recognition)语法分析(Synatax Parsing)语义分析(Semantic Parsing).原创 2022-02-28 20:22:23 · 221 阅读 · 0 评论 -
3.1-NLP发展
目录目的研究方向疑问NLP(自然语言处理)和NLU(自然语言理解)自然语言处理涵盖的范畴目的试图将文本转换为计算机所能理解的内容,建立人类和计算机系统间通过自然语言进行有效沟通的桥梁。研究方向基于语言规则的形式化语言处理体系复杂,包括:范畴语法、语言集合论等基于概率和统计的数字化语言处理目前主流,模型包括:概率语法、Bayes动态规划等。相关模型与对应算法将语言看作数字信号,使用概率论和统计的方法对其处理。疑问NLP(自然语言处理)和NLU(自然语言理解)NLU侧重让计算机在更原创 2022-02-28 20:14:26 · 128 阅读 · 0 评论 -
1.3-聊天机器人的模块和框架
目录常见模块语音识别模块自然语言处理模块其他技术模块常见模块语音识别模块大部分聊天机器人需要直接收录用户语音。该模块将语音转为文本。自然语言处理模块从文本中抽取对于聊天系统关键的信息,如用户的意图、关键的实体属性、用户情感等。问题匹配问答型侧重方向。对话管理任务型和闲聊型侧重。情感分析闲聊型重点。其他技术模块机器学习深度学习信息检索...原创 2022-02-28 19:50:47 · 1805 阅读 · 0 评论 -
1.2-聊天机器人的类型和应用
《智能聊天机器人》黄申老师著,学习笔记原创 2022-02-28 15:47:17 · 405 阅读 · 0 评论