vocab 文本_fastNLP中的Vocabulary

最新推荐文章于 2022-03-07 09:21:17 发布

MatrixMage

最新推荐文章于 2022-03-07 09:21:17 发布

阅读量827

点赞数

文章标签： vocab 文本

本文链接：https://blog.csdn.net/weixin_29439509/article/details/112922146

版权

本文介绍了如何在fastNLP中使用Vocabulary类处理测试集和验证集，强调了在建立词表时将验证集和测试集加入no_create_entry_dataset参数的重要性，以充分利用预训练embedding并避免未知词的问题。同时，通过示例展示了不同情况下的词向量初始化和更新机制。

摘要由CSDN通过智能技术生成

一些使用tips¶

在使用from_dataset()函数建立词表时，将测试集和验证集放入参数no_create_entry_dataset中，如下所示

from fastNLP import Vocabulary

from fastNLP import DataSet

tr_data = DataSet({'chars': [

['今', '天', '心', '情', '很', '好', '。'],

['被', '这', '部', '电', '影', '浪', '费', '了', '两', '个', '小', '时', '。']

'target': ['positive', 'negative']

})

dev_data = DataSet({'chars': [

['住', '宿', '条', '件', '还', '不', '错'],

['糟', '糕', '的', '天', '气', '，', '无', '法', '出', '行', '。']

'target': ['posit

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MatrixMage

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

vocab 文本_文本预处理

weixin_34355337的博客

01-14

1561

文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引(index)将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。import collectionsimport ...

NLP工具——fastNLP

某热心知名群众的博客

05-07

7641

fastNLP 搬运自github高星项目fastNLP，复旦的工作，本文主要是自己使用中会参考的一些代码，传送门 https://fastnlp.readthedocs.io/zh/latest/index.html DataSet DataSet是fastNLP用于封装数据的类，一般训练集、验证集和测试集会被加载为三个单独的DataSet对象 DataSet中的数据组织形式类似一个表格，列即为...

参与评论您还未登录，请先登录后发表或查看评论

小黑fastNLP实战:实体识别1

qq_37418807的博客

12-28

1007

1.数据读取 import os data_dir = './data/atis/' train_dir = os.path.join(data_dir,'train') test_dir = os.path.join(data_dir,'test') dev_dir = os.path.join(data_dir,'dev') # 定义数据集text与labels的路径 train_text_path = os.path.join(train_dir,'seq.in') train_label_path

算法数列异或操作

顾南怀

10-16

462

给你两个整数，n和start,其中n为数据的数量,start为第一个数据。当前数据定义为：num = start + 2*i（i表示第几个数据,从0开始）。请返回数列中所有数据按位异或（XOR）后得到的结果. 示例 1：输入：n = 5, start = 0 输出：8 解释：数列为 [0, 2, 4, 6, 8]，其中 (0 ^ 2 ^ 4 ^ 6 ^ 8) = 8 。"^" 为按位异或运算符。示例 2：输入：n = 4, start = 3 输出：8 解释：数列为 [3, 5, 7, 9]，其

小黑fastNLP实战:文本分类1

qq_37418807的博客

12-27

703

文章目录1.载入数据2.将数据转化为DataBundle形式输出:3.创建词典输出:4.载入词向量5.定义与训练模型输出:6.测试模型输出: 1.载入数据 import os data_dir = './data/atis/' train_dir = os.path.join(data_dir,'train') test_dir = os.path.join(data_dir,'test') dev_dir = os.path.join(data_dir,'dev') train_text_path =

【英文文本分类实战】之四——词典提取与词向量提取

十一月廿七风雨大作

02-16

3646

·请参考本系列目录：【英文文本分类实战】之一——实战项目总览 ·下载本实战项目资源：神经网络实现英文文本分类.zip（pytorch） [1] 提取词典在这一步，我们需要把训练集train.csv、验证集dev.csv中的英文文本先清洗，然后分词，最后构建出词典，转存为pkl格式文件。【注】：“清洗”可参见博客【英文文本分类实战】之三——数据清洗。 1、为什么要提取词典，转存为pkl文件？ ——运行神经网络模型需要用到词典，每构建一次词典，需要读取训练集train.csv、验证集.

Japanese_Core_2000_Step_01_Listening_Sentence_Vocab__Images.apkg

10-01

Japanese_Core_2000_Step_01_Listening_Sentence_Vocab__Images

def build_vocab(file_path, tokenizer, max_size, min_freq): vocab_dic = {} with open(file_path, 'r', encoding='UTF-8') as f: for line in tqdm(f): lin = line.strip() if not lin: continue content = lin.split('\t')[0] for word in tokenizer(content): vocab_dic[word] = vocab_dic.get(word, 0) + 1 vocab_list = sorted([_ for _ in vocab_dic.items() if _[1] >= min_freq], key=lambda x: x[1], reverse=True)[:max_size] vocab_dic = {word_count[0]: idx for idx, word_count in enumerate(vocab_list)} vocab_dic.update({UNK: len(vocab_dic), PAD: len(vocab_dic) + 1}) return vocab_dic

最新发布

06-02

函数将词表中的每个词汇与其在词表中的索引建立映射，并将其存储到一个新的字典 `vocab_dic` 中。在这里，函数还添加了两个特殊的词汇 `UNK` 和 `PAD`，用于表示未知词汇和填充词汇，这两个词汇的索引分别为词表的...

详细分析代码“global n_words # 处理词汇 learn = tf.contrib.learn vocab_processor = learn.preprocessing.VocabularyProcessor(MAX_DOCUMENT_LENGTH ,min_frequency=MIN_WORD_FREQUENCE) x_train = np.array(list(vocab_processor.fit_transform(train_data))) x_test = np.array(list(vocab_processor.transform(test_data))) n_words=len(vocab_processor.vocabulary_) print('Total words:%d'%n_words) cate_dic={'like':1,'nlike':0} y_train = pd.Series(train_target).apply(lambda x:cate_dic[x] , train_target) y_test = pd.Series(test_target).apply(lambda x:cate_dic[x] , test_target)”每一句代码的含义，具体作用，使用什么函数的什么参数，具体什么作用，并添加详细注释

05-25

1. 首先通过导入TensorFlow.contrib.learn模块，创建一个VocabularyProcessor对象vocab_processor，用于将原始的文本数据转换为数字序列。其中MAX_DOCUMENT_LENGTH表示文本序列的最大长度，min_frequency表示最小...

nlp文本预处理构建词汇表

03-07

2837

nlp数据预处理构建词汇表

mxnet.contrib.text.vocab.Vocabulary API

studyvcmfc的专栏

01-13

260

Source code for mxnet.contrib.text.vocab # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional information # regarding copyright ownership.

小黑fastNLP成长日记2:vocab与embedding

qq_37418807的博客

12-30

1667

1.构建vocab (1) 直接构建vocab from fastNLP import Vocabulary vocab = Vocabulary() vocab.add_word_lst(['小','黑','无','敌']) vocab.add_word('小黑') print('小:',vocab.to_index('小')) print('小黑:',vocab.to_index('小黑')) print('词典全貌:',list(vocab)) print('---------------------

torchtext.vocab

HMT的博客

10-16

6817

class Vocab 功能：用于创建字典和应用字典函数： __contains__(token: str) → bool 功能：用于判断传入的词语是否存在于词典中。参数： token：字符串。需要判断的词语。返回值：布尔值。传入单词是否在词典中 __getitem__(token: str) → int 功能：获得传入单词在词典中的索引。参数： token：字符串。需要获得索引的词语。返回值：整型。对应的索引。 __init__(vocab) 功能：构造函数，创建Vocab实

NLP————VocabularyProcessor进行词表创建和原数据填充

coder_Gray的博客

01-14

2844

人工智能基础与线性回归模型

梓栋DREM

10-31

2168

文章目录1.什么是人工智能2.人工智能的发展历程3.人工智能、机器学习、深度学习的关系3.1 **机器学习**3.2 **深度学习**：是机器学习的其中一种方法，主要原理是**神经网络**3.3 **人工智能与机器学习、深度学习之间的区别**4.机器学习基本概念5.线性回归5.1 线性回归模型5.1.1 一元线性回归（单个特征）5.1.2 多元线性模型（多个特征）5.2 损失函数5.3 求解方式5.3.1 最小二乘法(least square method)5.3.2 梯度下降法（Gradient Desc

在fastNLP框架中加入LSTM遇到的一个问题

tyler的博客

04-26

652

Traceback (most recent call last): File “train_tener_cn.py”, line 176, in use_tqdm=True, print_every=300, save_path=None) File “/usr/local/lib/python3.6/dist-packages/fastNLP/core/trainer.py”, line ...

文本分类实战----数据处理篇----embeddings与vocab中词汇不相覆盖问题的处理办法

pnnngchg的博客

12-17

8329

上一篇文章我们讲了一些数据处理的方法。这一篇我们来对数据进行一些分析，帮助我们更好的理解数据的基础上，为后面的工作做一些基础。也希望有一些积累，在后面遇到相似的任务事可以举一反三。好了，话不多说，我们开始。 embeddings与vocab中词汇不相覆盖问题我们使用的预训练好的embeddings词向量来对训练集和测试集中的词汇表vocab进行向量的映射，这里存在的一个问题是预训练embedd...

pytorch学习笔记（十九）：torchtext