![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ML_DL_NLP
文章平均质量分 81
「已注销」
这个作者很懒,什么都没留下…
展开
-
NLP初见
NLP简述自然语言语言处理(简称NLP)是目前应用最广的领域,从大的方面来看包括语音识别、语音合成、机器翻译、词性标注、实体识别、情感分析、推荐系统、信息检索、数据挖掘、文本分类、文本挖掘等领域。目前NLP技术的应用包括两种,一种是传统的机器学习技术,现在最新的技术是采用各种算法集成的技术;另一种是目前比较火的深度学习技术。比如在机器翻译(MT)方面,在最开始就利用的是传统的机器学习技术,原创 2018-01-26 15:59:20 · 357 阅读 · 0 评论 -
通俗理解HMM
通俗理解HMM HMM是隐马尔可夫模型(Hidden Markov Model)的简写,隐马尔可夫模型是一种非常重要的机器学习模型,它以概率为背景,在科学研究与工程实践方面有着非常重要的地位,尤其是在自然语言处理领域。在自然语言处理领域,常用于标注问题,它描述由隐藏的马尔可夫链随机生成观测序列的过程,是一种生成模型,而且,它不仅可以用于自然语言处理领域,对于机器学习其他领域的应用也是...原创 2018-02-26 17:15:39 · 1566 阅读 · 0 评论 -
zipf定律与相似性度量
zipf定律与相似性度量 Zipf定律指出,在文本中,标识符出现的频率与其在排序列表中的排名或位置成反比。这个定律描述了标识符在文本中是如何分布的,即一些标志符出现的频次很大,另一些出现的频次较低,还有一些基本不出现。它是自然语言处理中,非常重要的一个定律,它的数学语言可以这样描述:在给定的语料库里,对于任意的一个term,它的频度f与这个频度在语料库中的排名r的乘积近似一个常数。即...原创 2018-03-02 19:17:13 · 1884 阅读 · 0 评论 -
NLP中的语言模型
NLP中的语言模型 语言模型是自然语言处理领域非常重要的模型,简单来讲,就是用来计算句子概率的模型。那么句子概率又是怎么算的呢?我们知道词构成句。在自然语言处理中,通常以词作为基本单位,把句子称为由词按照一定的规则组成的词的序列。不妨设一个句子为: 这样,这个句子便是由n个词组成的词序列。那么这个句子的概率,可以表示如下: 这就是n-gra...原创 2018-03-03 11:24:12 · 959 阅读 · 0 评论 -
NLP learn practice(一)
NLP learn practice(一) 在自然语言处理领域,NLTK是以一个非常有名的自然语言处理工具包,因此,作为自然语言处理的研究者,这个工具的掌握是很有必要的。 首先,先介绍下NLTK这个工具包,NLTK全名Nature Language Toolkit,它是由宾夕法尼亚大学计算机和信息科学系开发。这个工具包有下面几个特点: ...原创 2018-02-24 15:43:51 · 329 阅读 · 0 评论 -
NLP Learn Practice(二)
NLP Learn Practice(二) 在上一次,学习了nltk的基本安装与使用,而且也介绍了对一个文本text做基本的分句,分词。那么在实际中对文本的处理远不止分句,分词,一个文本内容,我们感兴趣的词只是部分,对于一些词,由于介绍的是nltk,这里仍然以英文分词为例,比如人称代词"I、me、my等等,标点符号以及一些常见的动词,虚词之类的,对于我们对文本的内容的分析作用并不大,...原创 2018-02-24 23:03:19 · 326 阅读 · 0 评论