算法实践
文章平均质量分 76
weixin_41804613
这个作者很懒,什么都没留下…
展开
-
tiny-llama 训练教程
训练一个tiny-llama原创 2024-09-23 23:48:55 · 30 阅读 · 0 评论 -
DWC-tiny-universe-task1-llama3模型
在图片的左上角,每段文本,经由tokenizer变成input_ids之后转化为embedding,转化为hidden_state之后,开始进入到主干的transformers的网络结构。由于找了一阵子没有找到比较合适的llama3的架构图,这里用qwen系列的架构图作为替代。(以及预感这里的整篇文章会演变成对qwen系列的代码笔记)整体的定义结构如下,用下列的章节查看其对应的初始化以及前向的定义。初始化的模块中,除开一些参数的设置,重要的几个变量分别。这里的注意力机制,似乎比我知道的那个要再复杂一些。原创 2024-09-19 15:04:24 · 272 阅读 · 0 评论 -
语音识别初尝(DataWhale语音识别入门赛)
[天池ASR入门赛]语音识别初尝试背景ASR及语音相关的初认识一些在我司常听到的关键词的介绍1)波形图2)采样点3)频谱图整体解决思路声学模型语言模型端到端的方法比赛的基本介绍背景这是第一次接触到语音识别的相关任务,本篇的笔记是对语音识别相应资料的个人直观理解,及datawhale的baseline解法的相关介绍(免责:真的是很主观的个人理解,可能涵盖错误)ASR及语音相关的初认识一些在我司常听到的关键词的介绍语音不像文本,可以看得见,仅有对应的音频,需要对语音有一个“可以看见”的过程,于是有了原创 2021-04-14 23:53:06 · 1371 阅读 · 0 评论 -
天池-基于预训练任务的泛化能力
天池-基于预训练任务的泛化能力背景流程Linux平台(模型部分)MAC平台(docker提交部分)背景这是基于Datawhale的一次学习机会,其中涉及到了transformer,torch,以及docker的应用。比赛链接baseline链接流程由于本地的计算资源有限,所以是会有切换平台(mac, linux)进行操作,不同平台承担的工作如下Linux平台(模型训练部分) 根据提供的额baseline结果,跑通对应的模型mac平台(docker部分) 根据docker,进行结果的提交原创 2021-02-21 22:56:47 · 270 阅读 · 0 评论