1. 问题描述
现在有一个词表,它是取分词后的语料,统计出现频率最高的300个(前300个)词构建的词表。现在要将分词后的语料进行替换,替换掉那些不在词表中的token为“UNK”,在词表中的则保持不变。
语料csv文件
内容格式如下:
param | parsed | words |
---|---|---|
未正则化的原始语料 | 正则化并分词后的语料 | 查询词表后待生成的列 |
⭐2. 解决方法
# 根据第二列parsed,查询词表后,生成第三列words
def generate_words(col_parsed, evil_word_vocab):
lst = []
for i in col_parsed:
words = []
for j in i:
if j in evil_word_vocab:
words.append(j)
else:
words.append('UNK')
lst.append(words)
words = words.copy()
words.clear()
return lst
# 这里要用 tolist()方法 将词表中词那一列转化为列表
list_words = generate_words(evil['parsed'], evil_word_vocab['word'].tolist())
# 将新生成的word列添加到原csv文件中
evil['words'] = list_words