DATAWHALE 零基础入门NLP-DAY1

最新推荐文章于 2020-07-31 18:16:02 发布
最新推荐文章于 2020-07-31 18:16:02 发布
阅读量150 收藏
点赞数
分类专栏： 学习 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxbbin/article/details/107501876
版权

DATAWHALE第一天打卡

第一天

这两天主要还是迅速浏览了一下群里提示的方向，然后选了tfidf后再用lgb跑分类结果，但是是今晚才提交的，好像暂时没有成绩出来，等明天再看看。新手上路

TFIDF+LGB

TFIDF主要用的是min_df=30时跑的结果出来，而lgb用的是multiclass的LGBMClassifier，参数大多数是用默认的，num_round设置的是1000，但貌似过拟合了。。。

后续思路

由于基础不是太扎实，时间不太够，为了提高效率，所以我打算先把群里分享的4个思路都用默认参数试着跑一遍，看看哪个模型跑出来的分数比较高，然后再以这个思路作为初期的baseline，去进一步恶补一些优化知识去改善模型。
至于对样本的分布等分析，这个也会在后续周末有空时补上。

参考网址:
https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.6.6406111aIKCSLV&postId=118252

xxbbin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataWhale零基础入门NLP赛事系列——Task1赛题介绍
yq313210的博客
07-21 179
赛题介绍 赛题名称：零基础入门NLP之新闻文本分类 个人目标：通过组队学习，个人完成一次有关NLP的入门赛，加深对文本处理有关的理解。 赛题任务：完成对新闻文本的分类，本质上是一个字符识别的问题。 数据下载介绍 数据下载链接：零基础入门NLP之新闻分类 一共有3个.csv文件，分别是：train_set.csv、test_a.csv、test_a_sample_submit.csv 数据读取：train_df = pd.read_csv('data/train_set.csv', sep='\t')，文
Datawhale零基础入门NLP-Task01-day2
ethanlmf的博客
07-22 238
数据读取与数据分析数据读取与数据分析一. 数据读取二. 数据分析句子长度分析新闻类别分布字符分布统计数据分析的结论**本章小结** 本文主要资源引用：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.9.6406111aIKCSLV&postId=118253 本章主要内容为数据读取和数据分析，具体使用Pandas库完成数据读取操作，并对赛题数据进行分析构成。 数据读取与数据分析 赛题数据虽然是文本数据，
Datawhale-零基础入门NLP-新闻文本分类Task05
樱缘之梦
07-31 383
该任务是用Word2Vec进行预处理，然后用TextCNN和TextRNN进行分类。TextCNN是利用卷积神经网络进行文本文类，TextCNN是用循环神经网络进行文本分类。 1.Word2Vec 文本是一类非结构化数据，文本表示模型有词袋模型（Bag of Words）、主题模型（Topic Model）、词嵌入模型（Word Embedding）。 词嵌入是一类将词向量化的模型的统称，核心思想是将每个词都映射成低维空间上的一个稠密向量，Word2Vec是常见的词嵌入模型之一。Word2Vec有两个
DataWhale零基础入门NLP赛事系列——Task2数据读取与分析
yq313210的博客
07-22 269
数据读取 用pandas读取数据 train_df = pd.read_csv('data/train_set.csv', sep='\t') print(train_df.head()) 这里的read_csv由两部分组成： 第一个参数是你数据文件的路径，根据自己的实际情况修改成绝对路径或者相对路径； 分隔符sep : 每列分割的字符,此处设置为\t 还有一个参数，这里面没用。nrows是此次读取文件的函数，限制读取的记录数量。如果nrows=100代表读取文件的前100行。 读取数据的时候我遇到了
Datawhale零基础入门NLP赛事 - Task3 基于机器学习的文本分类
Dream_xd的博客
07-25 170
Task3 基于机器学习的文本分类 在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。 学习目标 学会TF-IDF的原理和使用 使用sklearn的机器学习模型完成文本分类 机器学习模型 机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的过程，机器学习利用模型对新数据进行预测对应于人类利用总结的规律对新问题进行预测的过程。 机器学习有很多种分支，对于学
Datawhale零基础入门NLP赛事数据集-数据集
03-26
自然语言处理（NLP，Natural Language Processing）是人工智能领域中的一个重要分支，主要研究计算机与人类（自然）语言之间的相互作用。在这个数据集“Datawhale零基础入门NLP赛事数据集”中，我们有两个关键文件：...
阿里天池-零基础入门NLP - 新闻文本分类
07-04
新闻文本分类是自然语言处理（NLP）领域中的一个核心任务，主要目的是将新闻文本按照预定义的主题或类别进行划分。在这个阿里天池提供的零基础入门教程中，我们将深入探讨如何利用NLP技术来实现这一目标。这个项目...
零基础入门NLP-新闻文本分类-数据集
03-25
标题 "零基础入门NLP-新闻文本分类-数据集" 提供了我们即将探讨的主题：自然语言处理（NLP）的基础知识，特别是针对新闻文本的分类任务。这通常涉及到机器学习或深度学习算法，用于自动将新闻文章分配到预定义的类别...
零基础入门NLP - 新闻文本分类-数据集
03-26
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要研究如何让计算机理解、解析、生成和操作人类的语言。在这个“零基础入门NLP - 新闻文本分类-数据集”中，我们将聚焦于一项核心任务——新闻文本分类。这个...
零基础入门NLP - 新闻文本分类 比赛数据-数据集
03-19
新闻文本分类 https://tianchi.aliyun.com/competition/entrance/531810/information test_a_sample_submit.csv test_a.csv train_set.csv
Datawhale零基础入门NLP赛事 - Task1 赛题理解
cclaree的博客
07-21 139
赛题名称：零基础入门NLP之新闻文本分类 赛题任务：对新闻文本进行分类。 赛题数据： 赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。 赛题数据构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。为了预防选手人工标注测试集的情况，将比赛数据的文本按照字符级别进行了匿名处理。 数据标签 Image 在数据集中标签的对应的关系如下：{‘科技’: 0, ‘股票’: 1
xgboost4j-2.12-1.7.6.jar
最新发布
07-08
xgboost4j-2.12-1.7.6.jar
048N06L-VB TO263一款N-Channel沟道TO263的MOSFET晶体管参数介绍与应用说明
07-08
048N06L-VB TO263；Package：TO263；Configuration：Single-N-Channel；VDS：60V；VGS：20（±V）；Vth：3V；RDS(ON)=4mΩ@VGS=10V；ID：150A；Technology：Trench；
基于Arduino的LED亮度控制系统与ESP32开发板控制舵机.docx
07-07
工作原理解释 ledcSetup()函数：ESP32的ledcSetup()函数用于配置LED PWM通道的参数，包括PWM信号的频率和分辨率。 ledcAttachPin()函数：将PWM通道与指定的引脚（这里是舵机的信号线引脚）关联起来。 rotateServo()函数：该函数接受一个角度参数，并通过ledcWrite()函数将映射后的PWM占空比写入PWM通道，从而控制舵机旋转到指定角度。
ChatGPT Resources.pdf
07-08
### 内容概要 这份全面的ChatGPT资源合集是为那些渴望利用人工智能提升工作效率和创造力的人士准备的宝藏。它汇集了从基础教程、商业应用、生产力提升、内容创作到特定场景下的工具使用等一系列资源链接和指导。此外，还包含了针对不同社交媒体平台如Twitter的内容优化技巧，以及如何通过ChatGPT进行SEO、设计、销售、编程等多方面的实践指导。 ### 适用人群 这份资源合集适用于企业家、内容创作者、营销专家、设计师、程序员、产品经理以及任何希望在日常工作或特定项目中利用AI技术提高效率和产出质量的专业人士。 ### 使用场景及目标 1. **学习与提升**：新手可以通过基础教程快速了解ChatGPT的使用方法，而经验丰富的用户则可以通过高级指南进一步挖掘其潜力。 2. **商业应用**：企业家和商业分析师可以探索如何将ChatGPT集成到商业策略中，实现自动化和增强决策。 3. **生产力增强**：忙碌的专业人士可以通过生产力工具和提示，找到节省时间、提高工作流程效率的方法。 4. **内容创作**：作家、博主和社交媒体经理可以利用ChatGPT生成创意内容，提升内容营销的效果
《A股十倍股群像》(1).pdf
07-08
《A股十倍股群像》(1)
融合注意力机制的CNN-G...力系统短期负荷混合预测模型_王玉林.pdf
07-08
融合注意力机制的CNN-G...力系统短期负荷混合预测模型_王玉林.pdf
天池大赛 零基础入门nlp - 新闻文本分类
10-24
总之，零基础入门NLP - 新闻文本分类是一个很好的机会，可以学习和应用自然语言处理的知识和技术。通过解决这个问题，我们可以深入了解文本分类的基本概念和方法，提升自己在数据科学领域的能力和竞争力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值