toxic comment classification 数据集

最新推荐文章于 2022-10-10 00:41:53 发布
最新推荐文章于 2022-10-10 00:41:53 发布
阅读量1k 收藏 1
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/claroja/article/details/108257260
版权

NLP情感分类任务，下载

label描述
toxic恶意
sevveretoxic穷凶极恶
obscene猥琐
threat恐吓
insult侮辱
identityhate种族歧视

其中的一条数据

id                                                0000997932d777bf
comment_text     Explanation\nWhy the edits made under my usern...
toxic                                                            0
severe_toxic                                                     0
obscene                                                          0
threat                                                           0
insult                                                           0
identity_hate                                                    0

word2vec
GloVe
FastText

参考：
https://www.jianshu.com/p/e285c9472ca2

Claroja
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
toxic-comment-classification:根据毒性类型对毒性评论进行分类，例如毒性，严重毒性，淫秽，威胁，侮辱，仇恨
05-19
项目介绍 问题：该项目的目的是根据毒性类型对毒性意见进行分类。 毒性类型的例子可以是有毒的，重度有毒的，淫秽的，威胁的，侮辱的，仇恨的。 实施了Logistic回归，支持向量机和朴素贝叶斯等不同的机器学习技术来确定6种有毒评论。 数据：我们用于有毒评论分类的数据集取自Kaggle竞赛，该竞赛可在Kaggle找到。 数据集具有来自Wikipedia对话页编辑的大量评论。 它们已被人类鉴定者标记为有毒行为。 有毒的 严重的 猥亵 威胁 侮辱 讨厌身份 数数 15294 1595 8449 478 7877 1405 百分比 9.5％ 0.9％ 5.2％ 0.2％ 4.9％ 0.8％ 数据高度不平衡 执行项目： spark - submit -- class < Class> project_2 .11 - 0.1 .jar < name of label
推荐文章：利用AI检测网络有害言论——Toxic Comment Classification Challenge
最新发布
gitblog_00096的博客
05-25 326
推荐文章：利用AI检测网络有害言论——Toxic Comment Classification Challenge 项目地址:https://gitcode.com/PavelOstyakov/toxic 1、项目介绍 在网络世界中，有效过滤和管理恶意评论是一项挑战。Toxic Comment Classification Challenge 是一个开源项目，它为这个难题提供了一个强大的解决方案。...
Kaggle---Toxic Comment Classification Challenge
bb_sy_w的博客
07-03 1662
1.Introduction
【论文笔记】From the Detection of Toxic Spans in Online Discuss to the Analysis of Toxic-to-Civil Transfer
记录学习^_^，欢迎交流~
10-10 928
From the Detection of Toxic Spans in Online Discussions to the Analysis of Toxic-to-Civil Transfer 言论毒性片段检测/文本风格迁移/言论去毒
Pandas第三次作业20200907
Narutolxy的博客
09-07 1717
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
kaggle的toxic_comment_classification比赛21th经验总结
CODE and POEM
03-22 5696
这个比赛可以说是一波三折，本来应该早早就结束了，结果因为数据泄露更换了数据，中途还更换过评价指标，不过好在最后还是顺利结果，我们队伍拿到了前1%的成绩（21/4551），属于不是很好但是也不是很坏的结果，这是我第一次在kaggle上完整的参与一个NLP比赛，因此我感觉有必要将这次的比赛经历写下来，做一个总结。比赛链接：点击打开链接1.数据分析（EDA）1）查看数据，训练数据159571 条，测试数...
toxic_comment_classification:在野外预测有毒评论
04-25
有毒评论分类 这是我在主持的有毒评论分类比赛的代码。 从的基本代码完全修改到另一个级别 要下载数据集，请运行get_data.sh 任务 数据集包含来自Wikipedia对话页编辑的评论。 这是大量的维基百科评论，被人类评分者标记为有毒行为。 毒性类型为： toxic severe_toxic obscene threat insult identity_hate 该方法 创建一个整体模型来预测每种评论的每种毒性的可能性。 记录了我的方法的完整解释 安装先决条件 运行install.sh，然后运行pip install -r requirements.txt 尖端 确保使用嵌入原始预处理，以确保可以导入最高百分比的嵌入
toxic-comment-classification:Kaggle有毒评论分类挑战的代码和写作
05-08
特别是，任务是将在线评论分为6类： toxic ， severve_toxic ， obscene ， threat ， insult ， identity_hate 。 竞争指标是每个预测类别的单个AUC的平均值。 方法摘要： 嵌入物： 在比赛数据上本地训练的...
Toxic-Comment-Classification
03-13
Toxic-Comment-Classification
jigsaw-toxic-comment-classification-challenge
05-02
《Jigsaw Toxic Comment Classification Challenge深度解析》 在数据科学领域，Kaggle竞赛一直以来都是检验和提升模型性能的重要平台。此次我们关注的“jigsaw-toxic-comment-classification-challenge”正是这样一...
Jigsaw multilingual toxic - test & val translated 拼图多语种有毒-测试和翻译-数据集
03-12
“拼图多语言有毒评论分类”竞赛的原始测试集包含6种语言，在这里，我们使用Yandex.Translate将所有评论翻译成英语。 jigsaw_miltilingual_test_translated.csv jigsaw_miltilingual_valid_translated.csv
几种分类器NB SVM　ＫＮＮ　效果不错
11-28
图像处理中经常用到的几种分类器 支持向量机 K近邻等等 实验效果不错
有毒评论分类：使用BERT转移学习对文本进行多标签分类不平衡数据的重新采样
02-21
使用预训练的Google BERT模型对有毒评论（Kaggle的竞争数据集）进行多标签分类 keras-bert.ipynb ：在Google的BERT模型的顶部微调一个多标签分类器（固定其参数）。 将Hamming损失与自定义定义的召回率指标一起使用（衡量分类器正确预测的阳性标签的比例），以评估分类器的性能。 use-model.ipynb ：使用微调的多标签分类器进行预测 colab-tpu ：文件夹包含用于在Colab TPU上训练模型的笔记本（注意：在对Colab TPU进行训练之前，向GCS存储桶授予匿名读取权限） data_prepare.ipynb ：准备数据并将其保存到Tfrecord文件中； Train_tpu.ipynb ：使用tf.data.Dataset在TPU上进行训练； 将TFHUB_CACHE_DIR环境变量设置为GCS bucket，以便TPU可以从缓
[比赛分享] Kaggle-Toxic Comment 中使用的各种深度学习模型, 处理方法和套路
LeYOUNGER的博客
03-21 3890
摘要 最近在做一个Kaggle比赛， 于此分享一下所使用的DL模型（经过简化），希望能对初学者有所帮助。 （最后结果，公榜23/4512，私榜87/4512，过拟合了啊啊啊啊T.T） 比赛地址： https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge 模型中所使用的词嵌入请参看如下博客： ...
[比赛分享] Kaggle-Toxic Comment [Keras多二分类，优质Comment语料， Pre-trained词向量的使用]
LeYOUNGER的博客
01-02 4867
最近在看一个Kaggle的比赛【Toxic Comment】，本博客主要分享学习到的新姿势
Kaggle比赛整理
热门推荐
kepcum
06-16 2万+
传送门：https://www.kaggle.com/competitions点击打开链接这里仅列出前50个比赛，全部的271个比赛word版下载地址：正在进行的比赛1、     Home Credit Default Risk利用各种替代数据（包括电信和交易信息）预测客户的还款能力。2、     TrackML Particle TrackingChallengeCERN探测器中的高能物理粒子追...
kaggle Jigsaw Rate有毒评论打分比赛内容总结
小姑仔的博客
02-27 1384
游戏本ubuntu21.04装机配置pytorch环境大全maxlen调参深度学习不同的损失函数机器学习方法与深度学习方法线上线下分数不一致 最近参加了kaggle上面一个有攻击性言语评论打分的比赛，也学到了很多的内容，这里小小的总结一下 比赛链接 maxlen调参 这里刚开始跑代码的时候我出现了一个错误，就是把字符串的maxlen当成最终的maxlen，实际上的maxlen应该为切分词之后的maxlen，而用roberta切词之后大部分的maxlen都能够限定在一定的范围之内(官方的roberta最大le
如何解决Toxic Comment Classification Challenge
09-13
### 回答1： Toxic Comment Classification Challenge 是一个由 Kaggle 主办的自然语言处理比赛，旨在通过算法分类毒性评论，帮助社交媒体等平台更好地管理和监管用户的评论行为。以下是解决该挑战的一些一般性步骤： 1. 理解数据集：了解比赛的目标和数据集，探索数据集中的评论文本和标签，了解各个标签的含义和比例，以便在模型训练和评估中进行适当的调整和处理。 2. 数据清洗：对原始数据进行处理和清洗，例如去除HTML标签、符号、链接、停用词等，使用文本清洗技术来规范化文本数据。 3. 特征提取：将文本数据转换为数值特征，以便训练机器学习算法，可以使用词袋模型、TF-IDF 等文本表示方法来提取特征，还可以使用词向量等预训练模型来提取更高级别的语义特征。 4. 模型选择：选择适合该问题的机器学习算法或深度学习模型，例如逻辑回归、朴素贝叶斯、支持向量机、循环神经网络等，对比不同模型在验证集或交叉验证上的性能表现。 5. 模型调参：对模型的超参数进行调整和优化，例如学习率、正则化系数、隐藏层大小等，可以使用网格搜索或随机搜索等方法来进行超参数优化。 6. 集成模型：通过组合多个模型来提高模型性能，可以使用投票、堆叠等模型集成方法。 7. 结果提交：在测试集上进行预测并提交结果，了解最终的得分和排名情况。 总之，解决 Toxic Comment Classification Challenge 需要综合运用数据清洗、特征提取、模型选择和调参等技术，并不断进行实验和优化，才能得到最好的结果。 ### 回答2： Toxic Comment Classification Challenge，即有毒评论分类挑战，是一个旨在解决社交媒体上毒性评论识别的挑战。以下是解决该挑战的一些策略和方法： 1. 数据清洗与预处理：对于这个挑战，首先需要进行数据清洗和预处理。这包括去除特殊字符、标点符号、停用词等，还可以进行词干提取和词语向量化的操作，以确保数据的一致性和可用性。 2. 特征工程：在解决挑战之前，确定一组合适的特征对于模型的性能至关重要。可以使用基于TF-IDF、词袋模型或词嵌入的方法抽取有意义的特征，也可以考虑使用n-gram模型来捕捉不同特征的组合。 3. 建立模型：选择合适的机器学习算法或深度学习模型进行有毒评论分类。常用的算法包括朴素贝叶斯、逻辑回归、支持向量机等。在对长文本分类时，可以尝试使用循环神经网络（RNN）或注意力机制（Attention）来提高模型性能。 4. 模型调优与集成：在建立模型之后，进行模型调优是非常重要的。可以通过调整模型的超参数、使用交叉验证等方法来提高模型的泛化能力。此外，还可以使用集成学习的方法，如随机森林、Adaboost等来进一步提高模型的性能。 5. 强化学习与自然语言处理：通过应用强化学习方法，可以让模型根据环境的反馈不断优化模型性能。此外，利用自然语言处理技术，如情感分析、命名实体识别等，可以更好地理解文本内容并进行分类。 6. 模型评估与反馈：在解决挑战的过程中，及时进行模型评估和反馈是很重要的。通过应用相关的评价指标（如准确率、召回率、F1-score等），可以评估模型的性能，并根据评估结果及时调整策略和方法。 综上所述，解决Toxic Comment Classification Challenge需要进行数据清洗与预处理、特征工程、选择合适的算法与模型、模型调优与集成、应用强化学习与自然语言处理等一系列步骤和方法，以提高模型对于毒性评论的分类准确性和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值