![](https://img-blog.csdnimg.cn/79874c7d4c6c467c83e0fce9a85d63a0.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
单标签文本分类(bert英文)
文章平均质量分 79
# 单标签文本分类(bert英文)
征途黯然.
Hold me hard and mellow.
展开
-
【英文文本分类实战】之一——实战项目总览
[1] 总览 【英文文本分类实战】系列共七篇文章: 【英文文本分类实战】之一——实战项目总览 【英文文本分类实战】之二——数据集挑选与清洗 【英文文本分类实战】之三——数据集分割 【英文文本分类实战】之四——词典提取与词向量提取 【英文文本分类实战】之五——数据加载 【英文文本分类实战】之六——训练 【英文文本分类实战】之七——模型 目前来看,如果方向是文本分类的话,英文文本分类、中文文本分类都需要掌握。 很多数据集都是英文的,比如多标签文本数据集、层次结构标签文.原创 2022-02-16 12:54:16 · 2895 阅读 · 0 评论 -
【英文文本分类实战】之四——词典提取与词向量提取
·请参考本系列目录:【英文文本分类实战】之一——实战项目总览·下载本实战项目资源:神经网络实现英文文本分类.zip(pytorch) [1] 提取词典 在这一步,我们需要把训练集train.csv、验证集dev.csv中的英文文本先清洗,然后分词,最后构建出词典,转存为pkl格式文件。【注】:“清洗”可参见博客 【英文文本分类实战】之三——数据清洗。 1、为什么要提取词典,转存为pkl文件? ——运行神经网络模型需要用到词典,每构建一次词典,需要读取训练集train.csv、验证集.原创 2022-02-16 23:54:18 · 3567 阅读 · 0 评论 -
【英文文本分类实战】之六——模型与训练-评估-测试
·请参考本系列目录:【英文文本分类实战】之一——实战项目总览·下载本实战项目资源:神经网络实现英文文本分类.zip(pytorch) [1] 编写模型 1、TextRNN 参考论文《Recurrent Neural Network for Text Classification with Multi-Task Learning》提出的TextRNN模型,我们编写TextRNN模型,代码如下:class Config(object): """配置参数""" def __i.原创 2022-02-17 13:31:06 · 2125 阅读 · 0 评论 -
【英文文本分类实战】之二——数据集挑选与划分
·请参考本系列目录:【英文文本分类实战】之一——实战项目总览·下载本实战项目资源:神经网络实现英文文本分类.zip(pytorch) [1] 数据集平台 在阅读了大量的论文之后,由于每一篇论文都会提出一个模型,十分想复现每个模型。但是受制于苦苦无法寻觅到合适的数据集,且下载下来一个数据集后,由于格式的不同,没有很好的数据集预处理方案,这对我们复现论文有很大阻力。 下面的网址列表不仅包含用于实验的大型数据集,还包含描述、使用示例等,在某些情况下还包含用于解决与该数据集相关的机器学习问题的算法代.原创 2022-02-16 19:03:03 · 3918 阅读 · 1 评论 -
【英文文本分类实战】之五——数据加载
·请参考本系列目录:【英文文本分类实战】之一——实战项目总览·下载本实战项目资源:神经网络实现英文文本分类.zip(pytorch) [1] 加载数据集 在“【英文文本分类实战】之四——词典提取与词向量提取”中,我们准备好了所有的文件。 接着,我们需要对训练集train.csv、验证集dev.csv、测试集test.csv中的每一条文本,先进行数据清洗,接着把每条文本的单词以词典中的序号来替代。代码如下:def build_dataset(config): if os.path.e.原创 2022-02-17 12:17:53 · 1975 阅读 · 0 评论 -
【英文文本分类实战】之三——数据清洗
·请参考本系列目录:【英文文本分类实战】之一——实战项目总览·下载本实战项目资源:神经网络实现英文文本分类.zip(pytorch) [1] 为什么要清洗文本 这里涉及到文本分类任务中:词典、词向量两个概念。 首先明确我们做的是“英文文本分类”,所以是不需要像中文那样分词的,只用按照空格截取英文单词就行。 假设训练集train.csv中有10w个文本,我们以空格为分隔符截取英文单词,一共截下来2w个单词,我们把这些单词从0到2w依次编号,称为“词典”。【注】:这样的词典是不能接受的。.原创 2022-02-16 22:03:04 · 4629 阅读 · 0 评论