Datawhale AI 夏令营 Task4笔记

最新推荐文章于 2024-10-05 10:13:36 发布
最新推荐文章于 2024-10-05 10:13:36 发布
阅读量100 收藏
点赞数 3
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49928136/article/details/141370784
版权

指令微调：以问答形式进行，激发模型的能力

大模型全量微调需要调整的参数多，调试成本高，故可以使用参数高效微调，也称“轻量化微调”，如Lora，prompt Turing、Adapter等。

使用阿里云的PAI-DSW，运行Task4

下载数据

构建数据处理函数：将输入转换为id，并与mask、output拼接，测试效果

下载模型，训练模型使用checkpoints，设置Lora参数设置LoraConfig

使用peft构建一个peftmodel，使用了Lora的参数

实例化一个Trainer，设置参数开始训练

每次epoch打印loss

使用构建generate测试表现

 

ling-xing
关注
Datawhale AI夏令营 AIGC方向 task01方向小白笔记
08-11
Datawhale AI夏令营 AIGC方向 task01方向小白笔记
NLP学习（Datawhale AI夏令营） TASK01#Datawhale示例代码
07-15
NLP学习（Datawhale AI夏令营） TASK01#Datawhale示例代码
Datawhale AI 夏令营Task2笔记
zzzzfaker的博客
07-17 1764
深度学习使用神经网络来模拟人脑的学习方式。神经元模型类似生物学的神经元，包含输入（树突）、输出（轴突）与计算功能（细胞核）的模型。通常来说，深度学习依赖于多层神经网络，每一层的神经元接受前一层的输出，通过权重、激发函数来计算输出值，传递到下一层神经元。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。
Datawhale AI夏令营 Task01笔记
m0_73841861的博客
07-15 1657
此篇博客分为两部分，第一部分是对机器翻译的了解，第二部分则是对第一个打卡的解析。
Datawhale AI 夏令营 task2笔记
m0_73375934的博客
07-15 1104
结构基本上和编码器是一致的，在基于循环神经网络的翻译模型中，解码器只比编码器多了输出层，用于输出每个目标语言位置的单词生成概率，而在基于自注意力机制的翻译模型中，除了输出层，解码器还比编码器多一个编码­解码注意力子层，用于帮助模型更好地利用源语言信息。具体来说，给定源语言序列经过编码器输出的向量序列。由于 RNN 的循环过程在每个时间步都要求一个输入单词，为了启动解码过程，一般会使用一个保留的特殊符号 “[Start]” 作为翻译开始的标记送入到 RNN 解码器当中并解码出目标语言序列的第一个单词。
Datawhale AI 夏令营 Task2笔记
2301_76393325的博客
07-17 1049
在中，我学习并使用来解决问题。这种预测方式简便，但是结果准确性有待提高。于是我学习了，这次我解决本次问题。和使用机器学习方法的步骤：探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。首先导入了warnings模块用于忽略警告，numpy用于数值计算，pandas用于数据处理，lightgbm是LightGBM模型的实现库。
Datawhale AI 夏令营 task1笔记
m0_73375934的博客
07-15 773
这种划分的主要目的是为了评估模型的性能并防止过拟合，确保模型具有良好的泛化能力。、机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。统计机器翻译中最主流的方法是基于词的统计机器翻译（Word-based MT）以及基于短语的统计机器翻译（Phrase-based SMT），总体上来看包含预处理、句子对齐、词对齐、短语抽取、短语特征准备、语言模型训练等步骤。基于提供的训练数据样本从多语言机器翻译模型的构建与训练，并基于测试集以及术语词典，提供最终的翻译结果。
Datawhale AI 夏令营 task1 笔记
huyuj8516586的博客
07-17 662
早期的机器翻译系统主要采用基于规则的方法，这种方法依赖于语言学家编写的语法规则和词典进行翻译。统计机器翻译中最主流的方法包括基于词的统计机器翻译（Word-based MT）和基于短语的统计机器翻译（Phrase-based SMT），其流程一般包括预处理、句子对齐、词对齐、短语抽取、短语特征准备、语言模型训练等步骤。规则组织困难：为了应对多样的语言现象，语言学家们设计了规模庞大的句法规则，但这些规则难以有效组织，甚至会出现相互矛盾的情况。1. 基于规则的机器翻译（1950s-1980s）
Datawhale AI 夏令营 task 1 笔记打卡
fzyambtion的博客
07-28 722
形成后，siRNA与一种称为RNA诱导的沉默复合物（RNAinduced silencing complex, RISC）的多蛋白组分复合物结合。在RISC复合物中，siRNA链被分离，具有更稳定的5′末端的链通常被整合到活性RISC复合物中。然后，反义单链siRNA组分引导并排列在靶mRNA上，并通过催化RISC蛋白（Argonaute family（Ago2））的作用，mRNA被切割，即对应基因被沉默，表达蛋白能力削弱。Datawhale AI 夏令营 task 1 笔记打卡。RNA干扰（RNAi）
Datawhale AI 夏令营 task2 笔记
qq_43853937的博客
07-17 363
多样性强的注释数据集，有超过1400万注释过的图像。实操代码笔记创建一个张量，形状是2x2。（也可以使用Numpy）# 直接从数据创建# 从Numpy创建创建全为1的2x2张量和全为随机数的2x2张量创建3x4的随机数张量检查gpu是否可用gpu详细情况!nvidia-smi自动求梯度。（说白了，自动求导代码）print(x)y = x + 2print(y)print(y.grad_fn) # y就多了一个AddBackwardprint(z) # z多了MulBackward。
datawhale AI 夏令营 task2笔记
2301_81122394的博客
07-17 312
基于术语词典干预的机器翻译挑战赛（作为小白以及刚入学的大学生，不具备很强的技术力，只是在照猫画虎之后谈一谈收获）赛事概要。
【Datawhale AI 夏令营第三期学习笔记Taks1】 跑通baseline #Datawhale AI 夏令营
07-28
【Datawhale AI 夏令营第三期学习笔记Taks1】 跑通baseline #Datawhale AI 夏令营
Datawhale AI 夏令营机器学习 task1.pdf
07-20
### Datawhale AI 夏令营机器学习 Task1：时间序列预测详解 #### 一、时间序列数据的特点 时间序列数据在很多实际场景中都非常重要，例如天气预报、股票市场分析、销售预测等。理解时间序列数据的特点对于设计有效...
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 629
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 466
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
数据结构-哈西表笔记
最新发布
2302_80490510的博客
10-05 177
如果不用去重就可以用哈希表。
江科大笔记—LED闪烁& LED流水灯& 蜂鸣器
m0_62005595的博客
09-28 490
LED闪烁& LED流水灯& 蜂鸣器
OpenGL笔记十九之相机系统
小勇博客
10-02 456
— 2024-10-02 晚上。
Datawhale AI 夏令营
07-12
这个暑期项目旨在激发参与者对人工智能、大数据和机器学习的兴趣，通过一系列课程、实践项目和比赛，帮助他们提升相关的技能知识。活动中，学员可以学习到从基础知识到实战应用的内容，比如Python编程、数据处理、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值