关于话题演化关系网络生成的路线思考：从话题聚类到话题网络展示

话题演化关系网络生成，是实现事件演化追踪的一个重要方法。通过对文本话题进行聚类、内容处理、话题演化关联、话题演化网络的展示，能够在一定程度上为用户揭示出一个事件发展的情况。本文就笔者对该方向的实现路线思考进行总结，分享给大家。
一、文本话题聚类
1、使用single-pass趟次聚类算法，将聚类的相似度阈值设置为0.6，对给定主题的所有文本进行聚类，得到多个话题类及每个类别下对应的文档集合。
2、假设一个话题下必须包含的文档数量大于某个阈值，否则不能成为话题。在本次实验中，将类下文档数量小于2的主题进行删除，得到最终的话题类别集合，并选择top30作为高频话题集合，即热点话题集合
3、热点话题热度的计算，某个话题的热度等于该话题下文本数量与该主题文本数量的比值
4、对热点话题集合进行话题内容处理和话题演化关联操作
二、话题内容处理
1、话题开始时间和结束时间获取
1）获取某一话题所有文本的时间，并以日为单位，移除单日发文量小于2的日期，将每个时间点按照持续时间不超过30天则为一个话题的持续时间原则进行时间段合并，划分成若干个时间片段。将时间片段按照包含文本的数量从大到小排序，取得最佳的话题时间范围
2）将得到的时间段中的第一个时间为话题的开始时间
3）将得到的时间段中的最后一个时间为话题的结束时间
2、话题名称抽取
1）获取某一话题下，开始时间和结束时间范围内的所有文本标题，形成标题集合
2）获取所有文本标题中所有标题的最大公共子串：标题两两比对，得到最长公共字串，并计数
3）对最长公共子串中的标题进行得分计算，得分为࿱