如何从海量用户发布的内容中挖掘出各城市时下的最热话题

一． 目的:

想知道在最近几个小时内各大城市不同分类栏目下，所有用户所发布的帖子中被讨论最热的话题是什么。

二． 方法：

热点话题逻辑依据：
由于挖掘热点话题的最终目标是活跃用户的评论，所以使用高评论（即用户较为活跃）的帖子为基础数据挖掘热点话题。

步骤
一.依据被评论数数量优先筛选出一批高活跃度帖子，过滤掉一批低活跃度帖子。
1）求所有帖子评论数均值（不包括评论或回复有现金等活动帖子），取高于均值的帖子。
二.分别将筛选出的高活跃度帖子做聚类，根据各类的数量，提取数量最多的topN类。
三.对提取出的N类分别做关键短句挖掘及摘要

在每个城市对应不同栏目的帖子文本中，找到内容相似的那一类帖子，如果这类帖子的数量达到一定阈值，便认为该类帖子属于热点帖子，再从热点类中抽取关键高频短句，作为话题。
话题抽取部分结果展示

{
   
    "cityColumn": [
        "1803",
        "2"
    ],
    "keySentence": [
        [
            "终于清楚哪个更好现在这个季节又有一批好吃的水果上市了水果不仅味道甜美而且营养丰富无论是放在正餐还是当零食都是绝佳的选择不过很多人买水果的时候会纳闷葡萄颜色深浅区分明显火龙果有红心白心之分猕猴桃也有红心、绿心和黄心的那到底买什么颜色的好呢",
            "\u000141\t【荐读】火龙果红心白心、猕猴桃绿心黄心",
            "一般情况下红心火龙果比白心的含糖量更高，吃起来更甜"
        ],
        [
            "哈尔滨至肇源高速公路中标开建... >\u000113\t肇东快讯【肇法快讯】绥化市委常委、政法委书记庞洪峰到肇东法院调研指导主题教育相关工作 政务：肇东市人民法院 2019-10-10 17:18不忘初心 牢记使命10月9日，绥化市委常委、政法委书记庞洪峰一行5人到肇东法院就主题教育相关工作开展调研指导",
            "近年来，为了充分发挥基层人民法庭的前沿阵地作用，肇东法院以司法为民为宗旨，以案结事了为目标，在辖区内建立起以基层人民法庭、乡司法所、村调委会、屯调解联络员为主体的四级调解网络，通过加大指导力度，延伸调解职能，实现了由坐堂办案向巡回审理转变，由被动调处纠纷向主动防控纠纷转变，有效地把基层人民法庭的调解保障要素适时、恰当、稳妥地配置到辖区群众之中，取得了减少纠纷发生，控制矛盾激化，妥善定纷止争，促进社会和谐的效果，为辖区经济发展和社会安定做出积极的贡献",
            "在《公路法》中还做出了明确规定，如果农民朋友在公路上晒粮最高将面临5000元的罚款，对于不听劝阻，干扰、阻碍路政执法人员执法的人，还将会被拘留"
        ],
        [
            "补叶酸，也是北京大学第一医院心内科及心脏中心主任 霍勇教授经过多年的临床研究，为咱们提供的最适合中国人的预防中风的方法",
            "可怕的是，缺少叶酸的人不会有特别明显的症状，但是他们若同时伴有高血压，那么中风的风险将提高 12 倍",
            "可以分成四种情况：1、后脑勺中间疼，属太阳经2、两侧疼又叫偏头疼（包括，太阳穴附近，及后脑勺偏两侧的位置），属少阳经3、前额疼（额头），属阳明经4、巅顶疼（头顶），属厥阴经治疗原理知道了对应的经脉，接下来就可以针对性的提出解决办法了~根据经脉所过，主治所及的道理及所在经络的问题，可以在相应的经络上找到治疗方法，这也可以理解为是以经取之的治疗思路"
        ]
    ],
    "keyphrase": [
        [
            "类风湿关节炎患者",
            "红心猕猴桃",
            "肇东市公安局",
            "原花青素",
            "膳食纤维",
            "违法犯罪线索",
            "黄心猕猴桃",
            "类风湿关节炎早期",
            "红心火龙果",
            "类风关患者",
            "绿心猕猴桃",
            "风湿免疫科主任医师",
            "白心火龙果",
        ],
        [
            "被盗原油",
            "主题教育相关工作",
            "恒大集团",
            "公路晒粮",
            "基层人民法庭",
            "庞洪峰",
            "犯罪嫌疑人朱某",
            "收庄稼",
            "碾压秸秆",
            "犯罪嫌疑人",
            "导致农民",
            "农民晒粮",
        ],
        [
            "应急救护",
            "按压穴位",
            "补叶酸",
            "应急救护培训",
            "嫌疑人梅姨",
            "补充叶酸",
            "广州市增城区",
            "犯罪嫌疑人",
            "缺乏叶酸",
            "缺少叶酸",
            "同心路",
            "小孩申聪",
            "巅顶疼",
            "儿子申聪",