best_of_times的博客

自然语言处理（natural language processing，NLP）是近年来发展十分迅速的一门涵盖自然语言学、数学与计算机科学的交叉性学科，研究的是在人与人交际中以及人与计算机交际中的语言问题。在现今社会中应用十分频繁，其中就有我们日常使用的语音识别输入、中英文翻译等。它不仅是社会需求十分巨大的应用技术，也是一门具有非常重要科学意义的自然科学。要掌握NLP，我们需要有概率论、信息论等...

在上一篇博客里，简单的介绍了语言模型，其中举了一个例子，这里就用代码来实现实现目标句子出现概率的求值。回顾语料库：研究生物很有意思。他是研究应用。踏实研究生物的。他实验救生物的。他大学时代是研究生物的。生物专业是他的首选目标。目标实现：使用二元模型以分词模式”<BOS> 他 是 研究 生物 的 <EOS>”计算出现句子“他是研究生物的”的概率。P...