- 博客(5)
- 收藏
- 关注
RSS订阅原创 DWC-tiny-universe-task1-llama3模型
在图片的左上角，每段文本，经由tokenizer变成input_ids之后转化为embedding，转化为hidden_state之后，开始进入到主干的transformers的网络结构。由于找了一阵子没有找到比较合适的llama3的架构图，这里用qwen系列的架构图作为替代。（以及预感这里的整篇文章会演变成对qwen系列的代码笔记）整体的定义结构如下，用下列的章节查看其对应的初始化以及前向的定义。初始化的模块中，除开一些参数的设置，重要的几个变量分别。这里的注意力机制，似乎比我知道的那个要再复杂一些。
2024-09-19 15:04:24
272
原创 语音识别初尝（DataWhale语音识别入门赛）
[天池ASR入门赛]语音识别初尝试背景ASR及语音相关的初认识一些在我司常听到的关键词的介绍1）波形图2）采样点3）频谱图整体解决思路声学模型语言模型端到端的方法比赛的基本介绍背景这是第一次接触到语音识别的相关任务，本篇的笔记是对语音识别相应资料的个人直观理解，及datawhale的baseline解法的相关介绍（免责：真的是很主观的个人理解，可能涵盖错误）ASR及语音相关的初认识一些在我司常听到的关键词的介绍语音不像文本，可以看得见，仅有对应的音频，需要对语音有一个“可以看见”的过程，于是有了
2021-04-14 23:53:06
1371
原创 天池-基于预训练任务的泛化能力改进-基于cleanlab的数据处理
天池-基于预训练任务的泛化能力改进-基于cleanlab的数据处理背景新的改变功能快捷键合理的创建标题，有助于目录的生成背景本次是基于先前的baseline进行改进，刚好看到推荐的改进思路有cleanlab对文本处理的改进，鉴于对现实的工作可能会有帮助，本篇会偏向于记录使用cleanlab进行文本处理相关资料链接cleanlab的简介cleanlab的博客cleanlab的开源git新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增
2021-02-26 02:11:38
592
原创 天池-基于预训练任务的泛化能力
天池-基于预训练任务的泛化能力背景流程Linux平台（模型部分）MAC平台(docker提交部分)背景这是基于Datawhale的一次学习机会，其中涉及到了transformer,torch,以及docker的应用。比赛链接baseline链接流程由于本地的计算资源有限，所以是会有切换平台(mac, linux)进行操作，不同平台承担的工作如下Linux平台（模型训练部分） 根据提供的额baseline结果，跑通对应的模型mac平台（docker部分） 根据docker，进行结果的提交
2021-02-21 22:56:47
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人