NER项目 P4 生成词表和标签表缓存文件

陈华编程

已于 2022-11-15 15:47:23 修改

阅读量342

点赞数

分类专栏： NLP项目文章标签：数据预处理词表标签表数字化 Embedding

于 2022-11-15 10:23:44 首次发布

本文链接：https://blog.csdn.net/sddqe/article/details/127861008

版权

NLP项目专栏收录该内容

8 篇文章 4 订阅

订阅专栏

拆分完训练集和测试集后，我们需要根据训练集，生成词表和标签表的缓存文件，供后面的流程调用。该表不仅要记录所有词和标签，还要对应一个不重复的ID，方便后续进行Embedding，即数字化。

代码示例

1、配置项

VOCAB_PATH = './output/vocab.txt'
LABEL_PATH = './output/label.txt'

WORD_PAD = '<PAD>'
WORD_UNK = '<UNK>'

VOCAB_SIZE = 3000

2、生成词表

# 生成词表
def generate_vocab():
    df = pd.read_csv(TRAIN_SAMPLE_PATH, usecols=[0], names=['word'])
    vocab_list = [WORD_PAD, WORD_UNK] + df['word'].value_counts().keys().tolist()
    vocab_list = vocab_list[:VOCAB_SIZE]
    vocab_dict = {v: k for k, v in enumerate(vocab_list)}
    vocab = pd.DataFrame(list(vocab_dict.items()))
    vocab.to_csv(VOCAB_PATH, header=None, index=None)

3、生成标签表

# 生成标签表
def generate_label():
    df = pd.read_csv(TRAIN_SAMPLE_PATH, usecols=[1], names=['label'])
    label_list = df['label'].value_counts().keys().tolist()
    label_dict = {v: k for k, v in enumerate(label_list)}
    label = pd.DataFrame(list(label_dict.items()))
    label.to_csv(LABEL_PATH, header=None, index=None)

至此，数据预处理就做完了，下节开始定义Dataset类，加载数据。

本文为陈华原创，欢迎转载，但请注明出处：http://www.ichenhua.cn/read/391