Albert+ TextCNN 文本二分类任务实践

最新推荐文章于 2022-04-08 19:47:26 发布
最新推荐文章于 2022-04-08 19:47:26 发布
阅读量3.6k 收藏 21
点赞数 1
分类专栏： pytorch 文章标签： 1024程序员节 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tuka2000/article/details/109253646
版权

文章目录

任务

参加了一个贝壳找房公司在DataFountain上举办的比赛

任务：
本次赛题的任务是：给定app中的交流片段，片段包含一个客户问题以及随后的经纪人若干对话消息，从这些随后的经纪人消息中找出一个是对客户问题的。

这是一个二分类的问题，就是对许多的 (问题，答案)句子组合 进行 预测，如果问题和回答匹配了，就标注为1。

数据

训练集: 6000段对话, 每段对话是一句用户的问题对上多句客服的回答，这些回答里只有一部分是对客户的问题进行直接回答的，被标注为 1 ， 其余的标注为0。

数据的格式可以被处理为: [query_id, reply_id,query,reply,label]

例如:

在这里插入图片描述

用户的问题是: 靠近沙川路嘛?

客服 回了三句话， 只有 "有一点靠近沙川路"这一条reply 的label是1(因为这句话直接回答了用户的问题), 其余的标注是0

流程

  • 数据预处理
    • preprocess.py
    • 找规则
  • 训练
    • train.py
  • 模型
    • model.py
    • 采用ALBERT+TextCNN
  • 在test集输出
    • test.py

模型

baseline

其实在比赛网站的排名榜上，得分第一名的人(是北航校友,已毕业)开源了他的代码

我下载下来看了一下，他是用jupyter notebook 写的，深度学习框架用的是tensorflow

最低0.47元/天 解锁文章
涂卡
关注
专栏目录
基于MFFMB的电商评论文本分类研究
weixin_70923796的博客
07-25 288
交易规模的不断扩大和买家购后评论习惯的逐步养成使中国电子消费市场产生了海量的电子评论文本。通道的全连接层、向量拼接和最终结果的全连接层。通道的全连接层通过单层网络将两个特征抽取模型的结果降低维度至原本输出维度的一半。优质的文本分类器为海量、非结构化的买家评论文本用于知识发现提供了可能。降维后的向量作为通道二的最终语义特征。第一种是通过特征抽取方法进一步将低级的、分散的特征表达抽象成高级的、聚集的特征表达。而引入外部知识的方法和融合多文本表达模型的方法会使得模型在一定程度上降低训练效率。...
NLP合集:教程/实体抽取/关系(三元组)抽取/文本分类/知识图谱/Bert系列/相似度判定/机器人问答/文本工具/竞赛方案精选/面试指南/NLP各类任务数据集等集合
qq_42189083的博客
12-24 5188
Cool-NLPCV （持续更新中…） Some Cool NLP and CV Repositories and Solutions Cool-NLP | Cool-CV 旨在收集NLP中常见任务的开源解决方案、数据集、工具、学习资料等，方便学习或快速查找。在此分享出来，供大家参考。欢迎积极分享并Star，谢谢! 会持续不定时更新，也欢迎加入共同分享。 1、机器学习&深度学习入门精选 Python-100天从新手到大师 斯坦福大学2014（吴恩达）机器学习教程中文笔记 《统计学习方法》第二版的代
【论文写作分析】之四《基于ALBERT-TextCNN模型的多标签医疗文本分类方法》
十一月廿七风雨大作
04-08 1383
  论文名称：《基于ALBERT-TextCNN模型的多标签医疗文本分类方法》   发布期刊：《山东大学学报(理学版)》   期刊信息：CSCD   论文写作分析摘要：本文非常简单。网络模型是直接把BERT和TextCNN拼接起来的；亮点在于应用领域的新颖，即医疗文本。本次博客主要来批斗一下这篇论文。 【注】：本文感觉没有创新，模型是用BERT的最后一层接上TextCNN，这不是基操嘛。看完这篇刊上CSCD的论文，感觉我现在就能发论文毕业了。 [2] 参考论文分解   这篇论文的模型图：   这就
sentiment_analysis_albert:sentiment analysis、文本分类、ALBERT、TextCNN、classification、tensorflow、BERT、CNN、text classification
05-09
简介 1、本项目是在tensorflow版本1.14.0的基础上做的训练和测试。 2、本项目为中文的文本情感分析，为多文本分类，一共3个标签：1、0、-1，分别表示正面、中面和负面的情感。 3、欢迎大家联系我 4、albert_small_zh_google对应的百度云下载地址： 链接： 提取码：wuxw 使用方法 1、准备数据 数据格式为：sentiment_analysis_albert/data/sa_test.csv 2、参数设置 参考脚本 hyperparameters.py，直接修改里面的数值即可。 3、训练 python train.py 4、推理 python predict.py 知乎代码解读
2.1 TextCNN - 二元情感分类 - 文本分类的卷积神经网络
学习随笔
07-09 1864
参考Convolutional Neural Networks for Sentence Classification(2014) 将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似于多窗口大小的ngram），从而能够更好地捕捉局部相关性。 TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 于2014年在 “C...
基于CNN的情感分析（文本二分类）
weixin_45552370的博客
03-12 3903
引言 最近学习了卷积神经网络，想上手一个小项目实践一下，该项目的数据集来自于github，内容为汽车售后正负面评价，借助pytorch实现对模型的训练并完成test集中对于某条评价的二分类。 1.数据的预处理 在自然语言处理中，不可避开的话题就是词向量，我借助的是torchtext这个工具库来实现词向量的构建 分词器 def tokenizer(text): # create a tokenizer function regex = re.compile(r'[^\u4e00-\u9fa5aA-Za
textcnn文本分类简单实现
jiang199912的博客
04-03 817
1.导入库 import pandas as pd import numpy as np import tensorflow as tf import jieba import os from tensorflow.contrib import slim 2.读取数据 train_data = pd.read_csv("train.txt", sep='\t', names=['label', ...
TextCNN(二)
qq_40316280的博客
10-14 579
文章目录TextCNN1.论文结构2.TextCNN 结构模型的正则化3.实验结果与分析4.论文总结5.代码实现 TextCNN 1.论文结构 2.TextCNN 结构 TextCNN的结果不复杂，第一层是输入层把原始的词转换为向量表示，然后接下来是卷积提取不同层次的特征，并用的是Rule激活函数，池化层对卷积层的结果做Max pooling, 最后经过全连接和softmax进行输出得到句子的类别。 具体的参数设置参考文献《A Sensitivity Analysis of (and Practitio
二维特征分类的基础_文本分类 [ALBERT+TextCNN]（情感分析）（附代码）
weixin_39554775的博客
11-20 858
今天，我为大家介绍下如何使用ALBERT和TextCNN来做文本分类。另外，文章结尾有Github项目链接。一、介绍1、此项目是在tensorflow版本1.14.0的基础上做的训练和测试。2、NLP任务类型为中文文本情感分析，类型为文本多分类，一共3个标签：1、0、-1，分别表示正面、中面和负面的情感。二、代码解释1、为什么要使用ALBERT预训练语言模型呢？首先，ALBERT论文解释了主要的4...
文本分类代码集合（含数据）_TextCNN_TextRNN_TextRCNN_等等
05-14
Python，TensorFlow实现文本分类代码集合（含数据）_TextCNN_TextRNN_TextRCNN_HierarchicalAttentionNetwork__Seq2seqWithAttention等等9种文本分类算法实现代码
text_classifier:该项目是使用TextCNNTextRCNN的文本分类任务，嵌入层可调用Word2Vec，Bert，也可以直接使用词粒度的随机嵌入，带有注意模块，项目基于Tensorflow2.3开发。
03-17
文字分类器 此仓库是基于Tensorflow2.3的文本分类任务，分别支持： 随机初始单词嵌入+ TextCNN 随机初始词嵌入+注意+ TextCNN 随机初始单词嵌入+ TextRCNN Word2Vec + TextCNN Word2Vec +注意+ TextCNN Word2Vec + TextRCNN 伯特嵌入（没有微调，直接取向量）+ TextCNN Bert嵌入（没有微调，直接取向量）+ TextRCNN 代码支持二分类和多分类，此项目基于爬取的游戏评论正是个二元的情感分类作为演示。 环境 python 3.6.7 张量流== 2.3.0 gensim == 3.8.3 杰巴== 0.42.1 sklearn == 0.0 其他环境见requirements.txt 更新历史 日期 版本 描述 2018-12-01 v1.0.0 初始仓库 2020-10-
albert_classify.zip
07-16
提供bert分类模型，使用pytorch开发，已经训练好，可以下载下来直接使用，不需要重新训练，如有问题，请提示，谢谢
基于TextCNN的情感二分类
weixin_30258027的博客
06-24 1501
0. Cause I just wanna wake up in the fleeting light 0.1 アイスクリームみた溶けそう、その瞳にみつめられたなら 新论文方向想好了，一个改进的TextCNN应用实例吧。数据集来源于学长之前打比赛时官方发的2G数据包，大概达到的效果就是通过用户短评去给某个景点的旅行指标进行打分。当然会有一个疑问，在我们现实的应用场景中不都是用户进行...
文本分类实战（二）—— textCNN 模型
shenyuan12的专栏
08-24 1441
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LSTM 模型 　　Transformer 模型 　　ELMo 预训练模型 　　BERT 预训练模型 　　j
文本二分类任务中，机器学习与深度学习的处理流程
xixiAlly的博客
07-18 573
输入：原始文本 机器学习： 1. 数据预处理（去停用词，词干化，引理化，分词等）； 2. 特征提取（BoW，TF-IDF），这一步将文本用向量表示； 3. 数据分割（训练集和测试集）； 4. 使用训练集训练分类器（NB, LR, DT, RF, SVM等分类器）； 5. 使用训练好的分类器预测测试集中文本的类别。 源码： 深度学习： 1. 数据预处理； 2. 训练词嵌入（Word2Vec, FastText等词向量）或者字符嵌入； 3. 构建深度学习模型（TextCNN, RCN.
NLP（二十二）利用ALBERT实现文本二分类
山阴少年
03-05 9096
  在文章NLP（二十）利用BERT实现文本二分类中，笔者介绍了如何使用BERT来实现文本二分类功能，以判别是否属于出访类事件为例子。但是呢，利用BERT在做模型预测的时候存在预测时间较长的问题。因此，我们考虑用新出来的预训练模型来加快模型预测速度。   本文将介绍如何利用ALBERT来实现文本二分类。 关于ALBERT   ALBERT的提出时间大约是在2019年10月，其第一作者为谷歌科学家蓝...
TextCNN
dili8870的博客
03-31 142
论文出处：Convolutional Neural Networks for Sentence Classification 一、什么是TextCNN？ 　　将卷积神经网络CNN应用到文本分类任务,利用多个不同size的kernel来提取句子中的关键信息(类似于多窗口大小的ngram),从而能够更好地捕捉局部相关性. 二、TextCNN的结构 降维---> con...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值