- 博客(3)
- 收藏
- 关注
RSS订阅原创 文本挖掘与分析课程笔记_Week3
第三周笔记 概率主题模型：混合一元语言模型 用两个词分布来表示，以此去除背景词（常见但意义不大的词） θd表示主题词分布 θB表示背景词分布 文本中某个词的概率计算 混合两个一元语言模型（解析） 利用最大似然求解混合两个一元语言模型时，θd和θB会出现“合作”和“竞争” 在θB（背景词）分布中，概率大的词，相对地在θd（主题词）中概率会变小 某个词出现的次数
2018-01-04 11:04:11
516
原创 文本挖掘与分析课程笔记_Week2
第二周笔记 熵函数 X的熵与其不确定性有关，不确定性越大，熵越大 熵应用于词的预测 熵越高的词，越难预测 条件熵 某个词在另一个词出现（或不出现）的前提下的熵 通过调整熵函数中相应条件的概率，即可得到条件熵 用条件熵寻找组合关系 对某个词在不同前提词下的条件熵进行比较 用“互信息”来寻找组合关系 互信息具有非负性 对
2017-12-27 22:51:07
585
原创 文本挖掘与分析课程笔记_Week1
前言 概念区分： 文本检索与搜索引擎:大量数据→少量有用数据 文本挖掘：少量有用数据→提炼出有用知识并应用 ps：越深层次的数据挖掘往往鲁棒性不够，准确率不够高，同时依赖人工的介入，但更能获取高质量的分析结果。 第一周笔记 从某种意义上来讲，人类可以比做一个观察器，但这个观察器输出的是文本，我们可以通过几个方面对文本进行分析： 对文本结构进行分析，可以获得与语言有
2017-12-20 10:57:26
1565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人