![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学之美笔记
DMU_lzq1996
这个作者很懒,什么都没留下…
展开
-
《数学之美》笔记1
第1章 文字和语言vs数字和信息文字和数字,语言和信息,从产生的源泉来看,它们有着天然的联系。半个多世纪前,香农博士发明信息论,才真正把数学和信息系统联系起来,这也为现代信息处理技术的发展提供了数学理论支持。1 信息原始时代人类通过不同的声音来传递不同的信息,这就是最原始的信息形式,只是那时候通过声音即可传递所要传递的少量信息,因此就没有语言和文字产生的必要条件。2 文字和数字当随着声音...原创 2018-10-13 10:25:44 · 190 阅读 · 0 评论 -
《数学之美》笔记2
第二章 自然语言处理—从规则到统计语言的数学本质决定了语言处理的解决途径:数学1.机器智能科学计算机之父阿兰.图灵提出了让机器与人类交流的可能性。检验机器的人工智能性—图灵测试自然语言处理的两个阶段: 20世纪50年代到70年代,弯路阶段:用电脑模拟人脑,模拟人类学习语言的方式 利用数学模型和统计方法进行语言处理阶段自然语言处理发展历程: 1956年达特茅斯会议,香农等十位领域专...原创 2018-10-17 21:37:46 · 589 阅读 · 0 评论 -
《数学之美》笔记3
第三章 统计语言模型计算机处理自然语言,基本问题就是为自然语言这种上下文相关的特性建立数学模型,即统计语言模型。3.1 用数学的方法描述语言规律贾里尼克首次利用统计概率模型解决了语言识别问题,即利用不同句子出现的概率来判断句法是否正确。条件概率的问题:根据前面所有词语推测后面的词语概率。解决办法:马尔科夫假设(任一词语概率只跟前面一个词语相关),由此产生二元统计模型。然后将二元的条件概...原创 2018-10-21 10:56:19 · 145 阅读 · 0 评论 -
《数学之美》笔记4
第四章 谈谈分词1 中文分词方法的演变自然语言处理首先要对句子进行分词。分词器输入句子,输出具有独立语义的词语。北京航天航空大学的梁南元提出“查字典”的方法,即从头扫描句子,匹配字典中词语。哈尔滨工业大学的王晓龙提出将一句话分为数量最少的词串。无法解决二义性问题。解决语言的歧义性:统计语言模型+概率郭进是中国运用统计语言模型来进行自然语言处理第一人。完善中文分词:孙茂松,吴德凯等...原创 2018-10-25 20:16:09 · 159 阅读 · 0 评论 -
《数学之美》笔记5
第五章 隐含马尔科夫模型隐含马尔科夫模型并不复杂,但是却是解决大多数自然语言处理问题最有效的方法。1 通信模型通信的本质是编解码和传输的问题。最为通用的通信模型为:通信模型与自然语言处理有啥关系?语言识别:计算机作为接收端,根据收到的信号去分析,理解,还原发送端传送过来的信息。机器翻译:不同语言之间的编码和解码的过程。通信模型中,如何根据接收端信息来推断发送端的信息呢?构建概率模...原创 2018-11-21 21:42:03 · 148 阅读 · 0 评论 -
信息的度量和作用
1948年,香农的著名论文《通信的数学原理》提出了信息熵的概念,才解决了信息的度量问题,并量化出信息的作用。1.信息熵2.信息的作用信息的作用就是消除不确定性。几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程。实际中,相关性的信息也能消除不确定性,为此理论上引入条件熵概念:3.互信息香农在信息论中提出了一个互信息的概念作为两个随机事件”相关性“的量化度量:...原创 2018-12-10 22:37:15 · 1309 阅读 · 0 评论