- 博客(2)
- 收藏
- 关注
原创 小白都看得懂的自然语言处理教程--1——语言模型
上一篇概述的最后我们提出了一个问题就是: 针对分词结果:1. 我们|经常|有意见|分歧、2. 我们|经常|有|意见|分歧 到底哪种分词结果才算是好的分词结果呢?哪种才是我们希望得到的呢? 我们可以这样思考:如果能有一个工具能帮我们选出最好的分词结果该多好 这里我们要提出NLP工程师都要知道的——语言模型 一、语言模型 用通俗的话来说,语言模型是用来判断一句话是否是人话的模型。 用数学的方式来表达就是一个联合概率: P(单词1,单词2,单词3) = P(单词1)P(单词2|单词1)P(单词3|单词1,单词2)
2020-07-22 16:45:21 259
原创 小白都看得懂的自然语言处理教程——概述
一、概述 随着自己学习NLP知识的深入,觉得应该把自己所学的知识给记录下来,一是为了保存和归纳自己的知识,二是为做一下分享。看了网上很多博客、知乎以及论坛等,觉得大家把NLP的知识讲的都很散,没有系统性的从轮子开始造车,所以想尽自己所知道的知识,写出一系列的由浅入深的NLP知识,希望对于那些想要从轮子开始造车的人给与一定的帮助和理解。下面就开始我们的NLP的教程吧 二、自然语言处理介绍 自然语言处理又简称NLP,可以把对NLP的研究分为两个板块:NLU+NLG。NLU可以理解为第一个阶段,NLG可以理解为第
2020-07-21 17:29:47 322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人