核心技术与算法学习笔记：词性标注与命名实体识别（日期识别）

结构化数据，可以在数据入库时予以类型约束，在需要时能够通过解析还原读取到对应的日期
非结构化数据日期多与文本结合，日期识别与具体要求有关

背景：
现有一个基于语音问答的酒店预订系统，其根据用户的每句语音进行解析，
识别出用户的酒店预订需求，如房间型号、入住时间等;
用户的语音在发送给后台进行请求时已经转换成中文文本，
然而由于语音转换工具的识别问题，许多日期类的数据并不是严格的数字，
会出现诸如"六月 12" “2016 年八月” “20160812” “后天下午” 等形式。
这里不关注问答系统的具体过程，主要目的是识别出每个请求文本中可能的日期信息，并将其转换成统一的格式进行输出。

主要通过正则表达式和Jieba
分词

import re
from datetime import datetime,timedelta
from dateutil.parser import parse
import jieba.posseg as psg

# 通过Jieba分词将带有时间信息的词进行切分，然后记录连续时间信息的词
# time extract:对句子进行解析，提取其中所有能表示 日期时间的词，并进行上下文拼接
def time_extract(text):
    time_res = []
    word = ''
    keydate = {'今天':0, '明天':1, '后天':2}
    for k,v in psg.cut(text):
        if k in keydate:
            if word != '':
                time_res.append(word)
            word = (datetime.today() + timedelta(days=keydate.get(k,0))).strftime('%Y年%m月%d日')
        elif word != '':
            if v in ['m', 't']:
                word = word + k
            else:
                time_res.append(word)
                word = ''
        elif v in ['m', 't']:
            word = k
    if word != '':
        time_res.append(word)
    result = list(filter(lambda x:x is not None, [check_time_valid(w) for w in time_res]))
    final_res = [parse_datetime(w) for w in result]
    return [x for x in final_res if x is not None]


# time extract中有个 check time valid 函数，用来对提取的拼接日期串进行进一步处理，以进行有效性判断的。
def check_time_valid(word):
    m = re.match('\d+$',word)
    if m:
        if len(word) <= 6:
            return None
    word1 = re.sub('[号|日]\d+$','日', word)
    if word1 != word:
        return check_time_valid(word1)
    else:
        return word1

#  parse_datetime 函数，用以将每个提取到的文本日期串进行时间转换。 
# 其主要通过正则表达式将日期串进行切割，分为"年" "月" "日" "时" H分""秒"等具体维度，
# 然后针对每个子维度单独再进行识别。
def parse_datetime(msg):
    if msg is None or len(msg) == 0:
        return None

    try:
        dt = parse(msg, fuzzy = True)
        return dt.strftime('%Y-%m-%d %H:%M:%S')
    except Exception as e:
        # re用以处理阿拉伯数字与汉字混杂的日期串的提取，其还加入了 "上中下晚早"的考虑，用以调整最终输出的时间格式。
        m = re.match(
            r'([0-9零一二两三四五六七八九十]+年)?([0-9一二两三四五六七八九十]+月)?'
            r'([0-9一二两三四五六七八九十]+[号日])?([上中下午晚早]+)?([0-9零一二两三四五六七八九十百]+[点:\.时])?'
            r'([0-9零一二三四五六七八九十百]+分?)?([0-9零一二三四五六七八九十百]+秒)?', msg)
        if m.group(0) is not None:
            res = {
                'year':m.group(1),
                'month':m.group(2),
                'day':m.group(3),
                'hour':m.group(5) if m.group(5) is not None else '00',
                'minute': m.group(6) if m.group(6) is not None else '00',
                'second': m.group(7) if m.group(7) is not None else '00',
            }
            params = {}

            for name in res:
                if res[name] is not None and len(res[name]) != 0:
                    tmp = None
                    if name == 'year':
                        tmp = year2dig(res[name][:-1])
                    else:
                        tmp = cn2dig(res[name][:-1])
                    if tmp is not None:
                        params[name] = int(tmp)
            target_date = datetime.today().replace(**params)
            is_pm = m.group(4)
            if is_pm is not None:
                if is_pm == u'下午' or is_pm == u'晚上' or is_pm == '中午':
                    hour = target_date.time().hour
                    if hour < 12:
                        target_date = target_date.replace(hour=hour+12)
            return target_date.strftime('%Y-%m-%d %H:%M:%S')
        else:
            return None

# 将常见的中文汉字与对应的阿拉伯数字建立一一对应关系
UTIL_CN_NUM = {

    '零':0, '一':1, '二':2, '两':2, '三':3, '四':4,
    '五':5, '六':6, '七':7, '八':8, '九':9,
    '0':0, '1':1, '2':2, '3':3, '4':4,
    '5':5, '6':6, '7':7, '8':8, '9':9
}
UTIL_CN_UNIT = {'十':10, '百':100, '千':1000, '万':10000}
def cn2dig(src):
    if src == '':
        return None
    m = re.match('\d+', src)
    if m:
        return int(m.group(0))
    rsl = 0
    unit = 1
    for item in src[::-1]:
        if item in UTIL_CN_UNIT.keys():
            unit = UTIL_CN_UNIT[item]
        elif item in UTIL_CN_NUM.keys():
            num = UTIL_CN_NUM[item]
            rsl += num * unit
        else:
            return None
    if rsl < unit:
        rsl += unit
    return rsl

def year2dig(year):
    res = ''
    for item in year:
        if item in UTIL_CN_NUM.keys():
            res = res + str(UTIL_CN_NUM[item])
        else:
            res = res + item
    m = re.match('\d+', res)
    if m:
        if len(m.group(0)) == 2:
            return int(datetime.datetime.today().year/100)*100 + int(m.group(0))
        else:
            return int(m.group(0))
    else:
        return None


text1 = '我要住到明天'
print(text1, time_extract(text1), sep = ':')

text2 = '预定28号的房间'
print(text2, time_extract(text2), sep = ':')

text3 = '我要从26号下午4点住到1月2号'
print(text3, time_extract(text3), sep = ':')

# 采用规则去覆盖所有的语言场景是不太现实的。

text4 = '我要预定今天到29号的房间'
print(text4, time_extract(text4), sep = ':')

text5 = '我今天30号呵呵'
print(text5, time_extract(text5), sep = ':')

输出

我要住到明天:['2019-12-05 00:00:00']
预定28号的房间:['2019-12-28 00:00:00']
我要从13号下午4点住到15号6点:['2019-12-13 16:00:00', '2019-12-15 06:00:00']
我要预定今天到29号的房间:['2019-12-04 00:00:00', '2019-12-29 00:00:00']
我今天30号呵呵:['2030-12-04 00:00:00']