![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 95
自然语言处理
右边是我女神
笔记仓库
展开
-
第七章 句法分析
文章目录概述短语结构分析线图分析法*自底向上的线图分析法(基于CFG)点规则数据结构算法描述扩展弧子程序:题型十六:使用线图分析法构建语法分析树我对于算法的过程理解算法评价CYK算法概述任务:句法分析的任务就是识别句子的句法结构。句法分析分为句法结构分析和依存关系分析。句法结构分析又可以称为短语结构分析;获取整个句子的句法结构为目的的句法分析称为完全句法分析;获得局部成分为目的的句法分析称为局部句法分析。依存关系分析又称为依存结构分析。短语结构分析句法结构分析的定义是:对输入的单词序列判断其构原创 2021-12-14 00:56:32 · 6100 阅读 · 1 评论 -
第六章 词法分析与词性标注
文章目录原创 2021-12-13 13:58:50 · 1086 阅读 · 0 评论 -
第五章语言模型:n-gram
文章目录基本概念语句s=w1w2...wms=w_1w_2...w_ms=w1w2...wm的先验概率历史基元*问题解决方法如何划分等价类*题型十二:根据n-gram划分句子*n-gram的应用音字转换问题汉语分词问题*参数估计*题型十三:给定训练语料根据n-gram求取句子的概率*数据平滑基本思想*加1法*题型十四:加1法实操减值法/折扣法*Good-Turing(古德图灵)估计法Back-off方法/后退方法/Katz后退法绝对减值法线性减值法四种减值法的比较删除插值法语言模型的自适应*问题基于缓原创 2021-12-13 01:05:36 · 2347 阅读 · 0 评论 -
第二章 数学基础
文章目录信息论基础熵*题型一:计算熵联合熵*条件熵*题型二:计算联合熵与条件熵熵率*互信息*相对熵*交叉熵*困惑度*熵之间的关系*汉语分词问题*应用实例词汇歧义消解基于贝叶斯分类器算法描述*基于最大熵的方法两种表示方式*参数训练算法描述*信息论基础熵*如果X是一个离散型随机变量,其概率分布为p(x)=P(X=x),x∈Xp(x)=P(X=x),x\in Xp(x)=P(X=x),x∈X,那么XXX的伤H(X)H(X)H(X)为H(X)=−∑x∈Xp(x)log2p(x)H(X)=-\sum_{x\原创 2021-12-08 19:47:36 · 1424 阅读 · 0 评论 -
第一章 绪论
文章目录基本概念语言学 v.s. 语音学自然语言处理相关的五个概念*三种不同的语系关于“理解”的标准*研究内容基本问题和主要困难基本问题之一:形态学问题基本问题之二:语法学问题基本问题之三:语义学问题基本问题之四:语用学问题基本问题之五:语音学问题困难之一:歧义现象(开塔兰数)*困难之二:大量未知语言现象NLU所面临的挑战*基本研究方法理性主义*经验主义*理性主义的案例*经验主义的案例*理性主义与经验主义的合谋*基本概念语言学 v.s. 语音学语言学是对语言的科学研究;语音学是研究人类发音特点,特别原创 2021-12-07 16:32:15 · 471 阅读 · 0 评论 -
第四章 语料库与语言知识库
文章目录语料库技术概述语料库语言学的发展早期的语料库语言学沉寂时代复苏与发展时期语料库的类型平衡语料库和平行语料库共时语料库和历时语料库汉语语料库建设中的问题一般语料库设计需要考虑的问题汉语语料库建设的规范问题汉语语料库产权保护和国家语料库建设问题典型语料库的介绍布朗语料库(Brown Corpus)LLC口语语料库朗文语料库树库(Tree Bank)举例PropBank(命题库)NomBank(名词化树库)Penn语篇树库(PDTB)和汉语篇章树库(CDTB)布拉格依存树库(PDT)其他语料库语言知识库词原创 2021-10-21 00:25:49 · 2778 阅读 · 0 评论 -
第3章 形式语言与自动机
形式语言语言概述语言描述(该语言是什么样的,句子是否属于该语言)的三种途径:穷举法(把语言中的所有句子都枚举出来)——只适合句子数目有限的语言;文法描述(语言中的每个句子用严格定义的规则来构造)——生成语言中合格的句子;自动机(对输入的句子进行合法性检验) ——区别哪些是语言中的句子,哪些不是语言中的句子。文法描述:给予语言中的句子以结构,各成分之间的结构关系清楚、明了。运用文法描述判断句子是否属于该语言较为困难。自动机:机械刻画对输入字符串的识别过程,结构关系不清楚。判断句子是否属于该语原创 2021-10-19 23:19:39 · 1607 阅读 · 0 评论 -
NLP实战-垃圾邮件分类
文章目录朴素贝叶斯原理贝叶斯公式朴素贝叶斯模型参数估计朴素贝叶斯原理Bayes介绍贝叶斯公式条件独立公式:P(X,Y)=P(X)P(Y)P(X,Y)=P(X)P(Y)P(X,Y)=P(X)P(Y)条件概率公式:P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)P(X∣Y)=P(X,Y)P(Y)P(X|Y)=\frac{P(X,Y)}{P(Y)}P(X∣Y)=P(Y)P(X,Y)全概率公式:P(Y)=∑i原创 2021-10-02 21:08:43 · 408 阅读 · 0 评论