【论文笔记 5】An Unsupervised Framework of Exploring Events on Twitter...

An Unsupervised Framework of Exploring Events on Twitter: Filtering, Extraction and Categorization

论文题目

• 作者：Deyu Zhou, Liangyu Chen, Yulan He

• 作者单位：

  Southeast University, China

• 发表会议：12th AAAI

• 发表年限：2015

背景 Modivation

背景：社交媒体成为事件信息的重要来源甚至独家来源

解决问题：解决了社交流中信息自动提取的问题。

原因：社交流中事件信息规模庞大或受众有限，人的注意力无法很好观察，需要有自动化的方法在社交流中提取事件

传统方法

传统方法分为三类

• 基于模式的模型
• 基于机器学习的模型
• 前二者的混合模型

TwiCal 利用标注数据训练标记器，提取事件短语

EvenTweet 从推文流中提取事件，并使用时间、位置等关键字描述

不足：

• 碎片化且噪声大，无法有效过滤社交流中的错误信息或适应其短文本的特征
• 事件类型多，标注数据的方法只能涵盖有限种类的事件，但是显然事件的种类集是不可能被事先知道的
• 冗余，同一事件可能对应多个同样的信息，这些信息有较大的冗余

idea

一个端到端的框架，包括过滤、提取、分类。分类采用本文提出的LECM模型，可以无监督地提取和分类事件

过滤：基于词典，留下与事件相关的推文

提取、分类：潜在事件和类别模型（LECM）的无监督贝叶斯模型，不需要人工干预，为类别匹配事件标签。最后利用<y命名, d日期, l位置, k事件中关键字>四元组描绘事件。

Pipeline

• 推文过滤

  词典过滤：构建该推文相同时期发布的新闻中提取的关键字，然后仅保留推文中有词典单词的推文。【可改进】

  二进制过滤：二分类，构建事件推特常出现的特征词等词素

• 事件抽取与分类：Preprocess->LECM模型->Post processing

  post processing 通过限制事件e在元素中的出现次数，来过滤重复事件。

实验

两个推文数据集，数据集1为事件不相关推文，数据集2为相关推文

精度：正确识别推文/事件相关推文【存疑】

精度70.49% 优于baseline6%