nlp事件抽取算例实现：（有完整算例和完整代码）

定义

事件抽取技术是从非结构化信息中抽取出用户感兴趣的事件，并以结构化呈现给用户。事件抽取任务可分解为4个子任务: 触发词识别、事件类型分类、论元识别和角色分类任务。其中，触发词识别和事件类型分类可合并成事件识别任务。论元识别和角色分类可合并成论元角色分类任务。事件识别判断句子中的每个单词归属的事件类型，是一个基于单词的多分类任务。角色分类任务则是一个基于词对的多分类任务，判断句子中任意一对触发词和实体之间的角色关系。

事件抽取任务：

事件有很多种，如因果事件，转则事件。。。
统一定义：一般一个事件都有事件，地点，人物等因素。
事件抽取就是把这些因素提取出来。
不多讲啦，上算例。

算例：

火灾新闻算例：
一个火灾事件新闻我们感兴趣的是 事故发生时间，事故发生地点，事故伤亡,事故原因。
我们把这些抽取出来.顺便再附上事件摘要。
即输入一个火灾事件新闻，输出 事故地点，事故时间，事故伤亡，事故原因，事故摘要。
方法：基于正则。

导入包：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author: yudengwu
# @Date  : 2020/6/27
import re

#事故原因：

def pattern_cause(data):
    "data.type: [文字]"
    data = str(data)

    patterns = []

    key_words = ['起火', '事故', '火灾']
    pattern = re.compile('.*?(?:{0})原因(.*?)[,.?:;!，。？：；！]'.format('|'.join(key_words)))
    patterns.append(pattern)
    for c in patterns:
        print('事故原因：',c.search(data).group(1))

#事故伤亡：

def pattern_lose(data):
    "data.type: [文字]"
    data = str(data)
    patterns = []

    key_words = ['伤亡', '损失']
    pattern = re.compile('.*?(未造成.*?(?:{0}))[,.?:;!，。？：；]'.format('|'.join(key_words)))
    patterns.append(pattern)

    patterns.append(re.compile('(\d+人死亡)'))
    patterns.append(re.compile('(\d+人身亡)'))
    patterns.append(re.compile('(\d+人受伤)'))
    patterns.append(re.compile('(\d+人烧伤)'))
    patterns.append(re.compile('(\d+人坠楼身亡)'))
    patterns.append(re.compile('(\d+人遇难)'))
    for i in patterns:
        jieguo = i.search(data)
        if not jieguo:
            pass
        else:
            print('事故伤亡：',jieguo.group(1))

#事故时间：

#事故时间：
def pattern_time(data):
    data = ''.join(test_data)# data.type :str
    PATTERN = r"([0-9零一二两三四五六七八九十]+年)?([0-9一二两三四五六七八九十]+月)?([0-9一二两三四五六七八九十]+[号日])?([上中下午晚早]+)?([0-9零一二两三四五六七八九十百]+[点:\.时])?([0-9零一二三四五六七八九十百]+分?)?([0-9零一二三四五六七八九十百]+秒)?"
    pattern = re.compile(PATTERN)
    m = pattern.search(data)
    # "19年1月14日18时19分39秒上午"
    m1 = pattern.search("上午")
    year=m.group(1) # 年
    month=m.group(2) # 月
    day=m.group(3) # 日
    am=m.group(4)  # 上午，中午，下午，早中晚
    hour=m.group(5) # 时
    minutes=m.group(6)  # 分
    seconds=m.group(7) # 秒
    print('事故时间: ',year,month,day,am,hour,minutes,seconds)

#事故地点：

#事件地点
def pattern_address(data):
    data = ''.join(data)#转换格式
    p_string = data.split('，')#分句
    address=[]
    for line in p_string:
        line = str(line)
        PATTERN1 = r'([\u4e00-\u9fa5]{2,5}?(?:省|自治区|市)){0,1}([\u4e00-\u9fa5]{2,7}?(?:区|县|州)){0,1}([\u4e00-\u9fa5]{2,7}?(?:镇)){0,1}([\u4e00-\u9fa5]{2,7}?(?:村|街|街道)){0,1}([\d]{1,3}?(号)){0,1}'
        # \u4e00-\u9fa5 匹配任何中文
        # {2,5} 匹配2到5次
        # ? 前面可不匹配
        # (?:pattern) 如industr(?:y|ies) 就是一个比 'industry|industries' 更简略的表达式。意思就是说括号里面的内容是一个整体是以y或者ies结尾的单词
        pattern = re.compile(PATTERN1)
        p1 = ''
        p2 = ''
        p3 = ''
        p4 = ''
        p5 = ''
        p6 = ''
        m = pattern.search(line)
        if not m:
            continue
        else:
            address.append(m.group(0))
            #print('事件地点：',m.group(0))

    print('事件地点：',set(address))

#事故摘要：
摘要讲解见链接：中文文本摘要提取 （文本摘要提取 有代码）基于python
停用词链接：nlp 中文停用词数据集

def shijian(data):
    import jieba
    text=''.join(data)
    text = re.sub(r'[[0-9]*]', ' ', text)  # 去除类似[1]，[2]
    text = re.sub(r'\s+', ' ', text)  # 用单个空格替换了所有额外的空格
    sentences = re.split('(。|！|\!|\.|？|\?)', text)  # 分句

    # 加载停用词

    def stopwordslist(filepath):
        stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
        return stopwords

    stopwords = stopwordslist("停用词.txt")

    # 词频
    word2count = {}  # line 1
    for word in jieba.cut(text):  # 对整个文本分词
        if word not in stopwords:
            if word not in word2count.keys():
                word2count[word] = 1
            else:
                word2count[word] += 1
    for key in word2count.keys():
        word2count[key] = word2count[key] / max(word2count.values())

    # 计算句子得分
    sent2score = {}
    for sentence in sentences:
        for word in jieba.cut(sentence):
            if word in word2count.keys():
                if len(sentence) < 300:
                    if sentence not in sent2score.keys():
                        sent2score[sentence] = word2count[word]
                    else:
                        sent2score[sentence] += word2count[word]

    # 字典排序
    def dic_order_value_and_get_key(dicts, count):
        # by hellojesson
        # 字典根据value排序，并且获取value排名前几的key
        final_result = []
        # 先对字典排序
        sorted_dic = sorted([(k, v) for k, v in dicts.items()], reverse=True)
        tmp_set = set()  # 定义集合 会去重元素 --此处存在一个问题，成绩相同的会忽略，有待改进
        for item in sorted_dic:
            tmp_set.add(item[1])
        for list_item in sorted(tmp_set, reverse=True)[:count]:
            for dic_item in sorted_dic:
                if dic_item[1] == list_item:
                    final_result.append(dic_item[0])
        return final_result

    # 摘要输出
    final_resul = dic_order_value_and_get_key(sent2score, 5)
    print('事件主要意思：',final_resul)

#主函数：

def main(data):
    pattern_cause(data)
    pattern_lose(data)
    pattern_time(data)
    pattern_address(data)
    shijian(data)
if __name__ =='__main__':
    #读取数据
    with open('新闻.txt', 'r', encoding='utf-8') as f:
        test_data = f.readlines()
    main(test_data)

数据集：新闻.txt

1月14日18时19分，宝鸡市渭滨区金陵街道机厂街社区铁路家属院17号楼一单元发生火灾，火势由二、三、四阳台向上蔓延，一名老人被困屋内，情况危急。宝鸡消防支队渭滨大队广元路中队接警后，迅速赶赴现场展开救援，将被困老人救出。记者了解到，火灾发生后，宝鸡消防支队渭滨大队广元路中队立即赶赴现场开展救援，经现场侦查发现，火势由二、三、四楼阳台向上蔓延，均已过火。由于小区内道路蜿蜒且狭窄，中队立即调派经一路、开元、宝光、电子街4个卫星消防站增援。中队到场后立即成立搜救组、灭火组、供水组开展救援工作。消防在搜救过程中发现1单元2楼南户有一名老人被困，中队立即进行营救，同时并对2单元30余名群众进行疏散。灭火小组从小区南北两侧对现场火势进行打压。铁塔路及新华路中队随后也赶到现场增援，20时10分现场明火被扑灭。火灾未造成人员伤亡，起火原因正在调查中。

运行结果

事件主题意思在下面：

截个全图看下：

运行结果还不错。
反思
这代码是针对国内新闻的，因为地址正则是针对国内地址的。
代码马马虎虎，不是很完善。针对其他类新闻和文本，则需修改下正则（如事事故伤亡可能没有）。
基于正则需要花费大量脑力。基于正则主要在于如何定义规则。
有时间还是想想基于模型吧。
电气工程的计算机萌新：余登武。写文章不容易。如果你喜欢本文章，请点个赞支持下写作，谢谢。