[组队学习]--第一次训练baseline

最新推荐文章于 2022-01-15 16:58:05 发布
最新推荐文章于 2022-01-15 16:58:05 发布
阅读量192 收藏 1
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35154293/article/details/113920621
版权
本文记录了参加天池-中文预训练模型泛化能力挑战赛的经历，包括从代码下载、环境配置（解决Pytorch与CUDA版本问题）、模型训练（调整batchSize和epochs）到遇到并解决UnboundLocalError。接着，介绍了Docker的安装、镜像构建与推送至阿里云仓库的过程，以及提交时的注意事项，如设置固定密码和文件位置的合规性。
摘要由CSDN通过智能技术生成

训练代码

参加的 天池-中文预训练模型泛化能力挑战赛 ，根据Datawhale提供的代码，在自己的机器上跑一遍训练流程。

准备阶段

代码下载

clone 下来代码，通过Pycharm打开项目。

环境配置

根据readme中的提示，下载 Pytorch,transformers,sklearn。

在之后的代码运行中，遇到了Pytorch版本不匹配的问题。我才开始安装的是 1.1.0，不行后面又安装的1.2.0，也不行。但是我的CUDA版本为10.0，只能支持到1.2.0，所以又把CUDA升级到10.1，安装的Pytorch 1.6.0。

感觉在以后运行课题项目代码的时候又要把CUDA安装到10.0版本（版本问题太坑了-.-）

代码运行

因为我的机器配置太低，所以在开始运行的时候我把 batchSize改成了 8 ，但是还是不行，之后改成了4也不行（显卡内存太少了），最后改成了2 ，可以运行了。
而且为了第一遍熟悉流程，把 epochs 改

最低0.47元/天 解锁文章
qq_35154293
关注
专栏目录
NLP中文预训练模型泛化能力挑战赛-Baseline算法实现
徐先森的博客
12-30 701
NLP中文预训练模型泛化能力挑战赛，使用tensorflow1.x版本实现Baseline算法，第一阶段分数0.6236
（零基础入门语音识别task1）零基础尝试在天池的DSW跑通baseline
weixin_57200091的博客
04-14 268
ababaababa
踩坑记录——记一次训练提交baseline全过程
面包猎人
02-19 2042
目录目的背景个人配置赛题要求本机跑通Baselinepytorch配置准备环节添加transformers和sklearn数据文件及bert配置模型训练过程数据准备训练更改batch_size适配主机生成结果打包预测结果Docker提交Docker安装本机Docker推送走通的路比赛提交致谢参考 目的   根据Datawhale大佬们提供的baseline训练模型，并通过docker的方式提交到天池比赛，获得自己的分数。对于新手来说，并没有看起来那么轻松，特此记录踩坑历程。感谢老师们的指点！ 背景 个人配置
记一次小白调参baseline——NLP中文预训练模型泛化能力比赛
面包猎人
02-26 1693
目的   前情提要   根据Datawhale大佬们提供的baseline训练模型以及优化方向，对baseline进行改进以期提高分数。对于小白本白来说，very very hard，特此记录过程以鞭策自己，目前仍在艰难探索ing~再次感谢大佬们的指点！ 背景 个人配置 本机显卡：RTX3070； 目前租用两块3090试一试水； 以及第一次调baseline的小白~ 赛题要求 赛事信息：天池->全球人工智能技术创新大赛【热身赛二】 Datawhale提供的baseline（特别感谢~）：地
文本摘要解决方案—不同版本的baseline模型和Bert预训练模型
qq_19840551的博客
07-10 1268
1.项目背景 从网络爬虫获取50000条新闻训练数据，每条数据的格式是第一句是一条新闻的摘要summarization，接下来是新闻详情text。任务是通过搭建baseline模型和Bert模型训练数据，分别输入几段新闻，输出新闻的摘要。 数据准备： 创建vocab.json文件，存放字典表，填充字符padding、unk、start和end标记在字典表前4位 if os.path.exists('vocab.json'): chars, id2char, char2id = json.l
十一月组队学习-推荐系统Task1：Baseline
weixin_43697982的博客
11-25 215
组队学习：推荐系统Task1：Baseline 第一次阅读这么多代码，感触就是，首先要看懂整体代码的逻辑，否则陷进去又不知道它们在做什么！ Baseline的整体逻辑其实很简单： 1.定义了一个节省内存的函数，但之后没用过了 def reduce_mem(df) 2.定义了一个从训练集从部分采样的函数，用作debug调试，但之后没用过了 def get_all_click_sample(data_path, sample_nums=10000): 3.定义了一个获取点击数据的函数（内部分为线上和线下）：
组队学习第一天：心跳信号分类之baseline学习
rzvtech的博客
03-16 280
组队学习第一天：心跳信号分类之baseline学习 原题目地址：零基础入门数据挖掘-心跳信号分类预测 任务要求 理解赛题数据和目标，清楚评分体系。 完成赛题报名和数据下载，理解赛题的解题思路。 学习baseline方案，并成功运行提交结果。 题目描述 赛题背景 赛题以医疗数据挖掘为背景，要求选手使用提供的心跳信号传感器数据训练模型并完成不同心跳信号的分类的任务。为了更好的引导大家入门，还特别为本赛题定制了学习方案，其中包括数据科学库、通用流程和baseline方案学习三部分。 通过对本方案的完整学习，
Datawhale线上组队学习汇总
老马的程序人生
12-02 2147
组队学习就是一群志同道合的小伙伴，一起学习讨论，一起克服拖延症，一起组队打boss。没有老师，没有教学，有的是一群热爱学习和渴望改变的人，交流学习，互促共进。 <font color='red'><b>如果您对哪门开源内容感兴趣，请在下方留言区写上课程的名称。我们就邀请该课程设计者开设该课程的组队学习。</b></font>
task1 情感分析baseline
m0_50896529的博客
09-14 461
该文档为datawhale情感分析组队学习的笔记 Github地址：team-learning-nlp/Emotional_Analysis at master · datawhalechina/team-learning-nlp (github.com) 这部分用pytorch和torchtext构造一个简单的机器学习模型来预测句子的情绪（即句子表达的情绪是正面还是负面） 使用的数据集：IMDB 该baseline使用RNN RNN 由于循环神经网络（RNN） 通常在序列模型上表现良好，所以在第一节中
2021-MAXP-DGL图机器学习大赛-Graph@ICT-复盘与总结【rank6】
智慧的旋风的博客
01-15 1947
2021-MAXP-DGL图机器学习大赛-Graph@ICT-复盘 文章目录2021-MAXP-DGL图机器学习大赛-Graph@ICT-复盘写在前面初赛：超长战线前期：顺风顺水到阶段性受挫中期：柳暗花明后又遭受打击后期：人都被卷没了到又重新燃起希望复赛：决定命运的48hday1day2复赛放榜总结 写在前面 时间真快，遥想刚开始搞这个比赛的时候，我还是刚从字节离职。一晃几个月就过去了，我的研一上学期也接近了尾声。 这个比赛奖金贼多，总奖金18w，但是根据我从小到大围棋比赛的经验来看，有奖金特别是奖金丰厚的
Datawhale组队学习NLP_情感分析Transformer学习笔记
weixin_43634785的博客
10-07 360
本文为学习Datawhale 2021.9组队学习情感分析笔记 原学习文档地址：https://github.com/datawhalechina/team-learning-nlp/tree/master/EmotionalAnalysis 文章目录1 设置随机种子数2 加载数据3 不需要建立字典4 创建迭代器5 实例化模型6 固定Transformer参数7 定义功能函数8 训练9. 评估 最后一个任务再重走一遍全流程 1 设置随机种子数 """1.set seed""" SEED = 1234 to
组队学习之Task5 第三章模型建立和评估
秃头菜鸟的博客
08-27 379
第三章 模型搭建和评估 经过前面的探索性数据分析我们可以很清楚的了解到数据集的情况，以及得出了一些结论。 下面我们将搭建一个预测模型，运用机器学习的方式来为泰坦尼克船只做一个预测，我们在测试集的数据中来预 测哪些乘客将会存活，哪些乘客将遭遇不幸。然后我们会对我们的模型做一个评价。 先一股脑导入常见的库 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from IPytho
推荐系统----2020.11.25第一次跑Baseline结果记录
weiwei935707936的博客
11-25 344
异常停止, 也没有报错, 非常迷醉 积累的经验: 匹配路径这种事情没什么好怕的 有些包, 它会显示红色报错, 但是还是可以运行起来的(如果一个问题在网上百般查找无果, 就很有可能是自己的问题) 如果数值不对, 或者不理想: 检查初始化等技巧 采样的大小对, 程序是否正确运行的影响 : : : : : : : : : ...
光纤课程设计.doc
10-12
光纤课程设计.doc
新媒体环境下汉语言文学教学优化策略.pdf
10-12
新媒体环境下汉语言文学教学优化策略
基于Python爬虫技术的海量电影数据分析系统源码
最新发布
10-13
本项目是一款基于Python爬虫技术的电影数据分析系统源码，包含27个文件，涵盖9个CSV数据文件、5个XML配置文件、4个Python脚本文件、3个HTML模板文件，以及gitignore、iml、LICENSE、md、png等辅助文件。该系统旨在通过爬虫技术收集海量电影数据，并进行分析处理，适用于电影爱好者或相关领域的数据分析需求。
2022爱奇亿研发工程师笔试资料2022爱奇亿研发工程师笔试资料
10-12
2022爱奇亿研发工程师笔试资料2022爱奇亿研发工程师笔试资料
师范院校汉语言文学专业民俗学课程的开设与教学模式.pdf
10-12
师范院校汉语言文学专业民俗学课程的开设与教学模式
Tensorflow深度学习实践：自定义Baseline模型训练CIFAR-10
"该资源是一个基于Tensorflow的深度学习项目，目标是建立并训练一个用于CIFAR-10数据集的自定义模型。实验涵盖了深度学习的基本流程，包括模型构建、训练、评估和可视化，并强调了模型的比较和防止过拟合。项目要求...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值