中文文本纠错

小知识点

"u4e00"代表什么意思 "u9fa5“代表什么意思？
答：\u4e00-\u9fa5是用来判断是不是中文的一个条件，采用的是unicode编码

参考website

2020/9/1

最全面，精华 中文纠错 待看完 中文文本拼写检查错误纠正方案整理
关联pycorrector

---

小练习

#--------------简化
import pandas as pd  # for data manipulation and analysis
from openpyxl import load_workbook

# 读取xlsx文件
data_path = "E:/Jobs/nlpproject/project1/tt/Raw_data_A.xlsx"
wb = load_workbook(data_path)
booksheet = wb.active

rows = booksheet.rows
columns = booksheet.columns
# 迭代所有的行,并存为list;为后续进行处理
res = []
for row in rows:
    line = [col.value for col in row]
    res = res + line

# 采用规则匹配方式（处理乱码等）
import re
from string import digits, punctuation

# 剔除文本中的乱码（利用匹配规则，将文本中乱码用空格进行替换）
# 作用：去掉中文文本中的表情符号，特殊字符等之类。
# 备注：\u4e00-\u9fa5是用来判断是不是中文的一个条件，采用的是unicode编码
rule = re.compile(r'[^a-zA-Z.,——+' + digits + punctuation + '\u4e00-\u9fa5]+')
resnew = []  #分配新的list,存储匹配后的文本
for i in range(0, len(res)):
    resnew.append(re.sub(rule, '', res[i]))

df = pd.DataFrame(resnew)  #将list转为dataframe
df.to_excel("./tt/newText.xlsx", index=False,header=None)

参考资料：规则匹配

---

英文参考资料专列：NLP中文短文本处理记录（一）