NLP中unicode文本处理

最新推荐文章于 2022-04-17 13:27:13 发布

535844609

最新推荐文章于 2022-04-17 13:27:13 发布

阅读量187

点赞数

分类专栏： NLP 文章标签：自然语言处理 tensorflow 机器学习

本文链接：https://blog.csdn.net/qq_37278786/article/details/116791767

版权

NLP 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

NLP中unicode文本处理

Unicode字符标转化

将unicode文件转化为ascii。

import unicodedata
def unicode_to_ascii(s):
	return ''.join(c for c in unicodedata.normalize('NFD', s))

在标点与单词之间加入空格

def preprocess_sentence(s):
    import re
    # 需要处理的标点
    punctuation = ',.?!'
    pre_process_s = re.sub(r"([{}])".format(punctuation), r" \1 ", s)
    # 将连续的多个空格合并为一个空格
    pre_process_s = re.sub(r"[ ]+", r" ", pre_process_s)
    # 去除sentence两边的空格
    pre_process_s = pre_process_s.strip()
    return pre_process_s
preprocess_sentence('Hello, Bob!')
# 结果'Hello , Bob !'