2017年10月_changdejie

11月 10月 09月 04月 03月 02月 01月

转载深度学习和自然语言处理的应用和脉络4-隐语义模型SVD，PLSA，LDA，LFM-推荐系统

隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。

2017-10-11 10:48:32 957

转载深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。

CRF在NLP场景下的使用把NLP问题化归为“标注问题”。收集大量（已经标注好的）语料。建立特征模板，由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多，但在训练过程中，经常重复出现的特征，其对应权值会得到强化，丌常出现的特征，权值会被自劢弱化。训练，参数（权值）估计。确立模型。给模型输入观测序列，模型预测其标注序列。从而解决标注问题。

2017-10-11 10:46:38 888

转载深度学习和自然语言处理的应用和脉络2-复杂模型,最大熵-隐马尔科夫模型-条件随机场

除了最简单的N-gram模型，还有比较复杂的模型。比如最大熵模型和隐马尔科夫语言模型。关于最大熵模型详细解释，请参考。http://blog.csdn.net/changdejie/article/details/78201001隐马尔可夫模型很多语言问题可以转换成隐马尔科夫模型进行求解。例如，语音识别，序列标注(词性识别，句法分析，实体抽取)

2017-10-11 10:43:59 852

转载最大熵模型通俗理解和例子

最大熵模型是一种综合模型，即我们知道很多关于一个东西的先验知识，然后用最大熵公式计算出来。很类似机器学习中的组合提升模型。下面举一个最大熵模型的例子。我们看一个拼音转汉字的简单的例子。假如输入的拼音是"wang-xiao-bo"，利用语言模型，根据有限的上下文(比如前两个词)，我们能给出两个最常见的名字“王小波”和“王晓波 ”。至于要唯一确定是哪个名字就难了，即使利用较长的

2017-10-11 10:41:20 8055

转载深度学习和自然语言处理的应用和脉络1-基础

本文是听炼数成金的黄老师机器读心术之深度学习大战自然语言处理的课程总结的笔记和读后感。NLP技术发展阶段以语言学为主要基础的时代（过去）：建立基本语言觃则使用数理逻辑迚行推理，建立模型产生戒理解语言以统计斱法为主流的时代（现在）：当数据量积累到海量，本身就能析取规则，孕育出智能。业务知识相对丌重要。IBM实验室的贡献。“每当我炒掉一位语言学家，我的识别率就又

2017-10-09 16:31:59 610 1