- 博客(3)
- 收藏
- 关注
RSS订阅原创 文本挖掘与分析课程笔记_Week3
第三周笔记概率主题模型：混合一元语言模型用两个词分布来表示，以此去除背景词（常见但意义不大的词）θd表示主题词分布θB表示背景词分布文本中某个词的概率计算混合两个一元语言模型（解析）利用最大似然求解混合两个一元语言模型时，θd和θB会出现“合作”和“竞争”在θB（背景词）分布中，概率大的词，相对地在θd（主题词）中概率会变小某个词出现的次数
2018-01-04 11:04:11
507
原创 文本挖掘与分析课程笔记_Week2
第二周笔记熵函数X的熵与其不确定性有关，不确定性越大，熵越大熵应用于词的预测熵越高的词，越难预测条件熵某个词在另一个词出现（或不出现）的前提下的熵通过调整熵函数中相应条件的概率，即可得到条件熵 用条件熵寻找组合关系对某个词在不同前提词下的条件熵进行比较用“互信息”来寻找组合关系互信息具有非负性对
2017-12-27 22:51:07
576
原创 文本挖掘与分析课程笔记_Week1
前言概念区分：文本检索与搜索引擎:大量数据→少量有用数据文本挖掘：少量有用数据→提炼出有用知识并应用ps：越深层次的数据挖掘往往鲁棒性不够，准确率不够高，同时依赖人工的介入，但更能获取高质量的分析结果。第一周笔记从某种意义上来讲，人类可以比做一个观察器，但这个观察器输出的是文本，我们可以通过几个方面对文本进行分析：对文本结构进行分析，可以获得与语言有
2017-12-20 10:57:26
1538
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人