科研学习
文章平均质量分 91
sssusan537
这个作者很懒,什么都没留下…
展开
-
【nlp】Transformer学习笔记
第一步:生成查询向量、键向量和值向量通过向量方式计算自注意力的第一步,就是从每个编码器的输入向量(即每个单词的词向量)生成三个向量:查询向量query-vec、键向量key-vec、值向量value-vec。原创 2024-09-06 22:49:06 · 495 阅读 · 0 评论 -
Colab部署微调Llama
目前,最简单的方法是使用Unsloth,它是一个微调模型的集成工具。通过Unsloth微调Mistral、Gemma、Llama,速度提高2-5倍,内存减少70%。Unsloth的github上有适合新手的Colab训练脚本:https://colab.research.google.com/drive/1Ys44kVvmeZtnICzWz0xgpRnrIOjZAuxp?usp=sharing,照着一步步执行就可以顺利微调成功简化后的代码如下:下载预训练模型默认已选择unsloth/Meta-Llama原创 2024-09-06 13:51:37 · 382 阅读 · 0 评论 -
Colab部署+微调ChatGLM
只需要在加载模型的位置修改成微调后的路径即可 将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称,运行以下指令进行模型推理和评测: 改这一行即可:--model_name_or_path ./output/$CHECKPOINT/checkpoint-3000。nohup 是 no hung up的缩写,意思是不挂断。衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松,利落的线条可以很好的隐藏身材上的小缺点,穿在身上有着很好的显瘦效果。原创 2024-09-06 13:48:15 · 808 阅读 · 0 评论 -
【视频增强】RealBasicVSR使用记录+超分重建技术和传统图像技术学习笔记
RealBasicVSR 是通过大量生成退化(例如Gaussian blur, Poisson noise, JPEG compression)的不同组合用作监督训练。通过不同退化的组合,RealBasicVSR 在一定程度上可以泛化到真实场景当中。RealBasicVSR 使用的是 Real-ESRGAN 的二阶退化模型,下图是 Real-ESRGAN 原文中的图解。原创 2024-09-06 13:41:11 · 1051 阅读 · 0 评论 -
【论文笔记】ABPN: Apex and Boundary Perception Network for Micro- and Macro-Expression Spotting
video encoding module (VEM)视频编码模块该模块主要侧重于在光流运动估计的基础上,从长视频中提取空间运动特征。probability evaluation module (PEM)概率评估模块目的是评估帧应该属于的类别expression proposal generation module (EPGM)表情建议生成模块根据每帧类别的概率为ME和MaE生成建议。原创 2023-11-20 01:01:18 · 178 阅读 · 1 评论 -
【微表情分析领域常用术语(方法)介绍】
在一个级联分类系统中,对于每一个输入图片,顺序通过每个强分类器,前面的强分类器相对简单,其包含的弱分类器也相对较少,后面的强分类器逐级复杂,只有通过前面的强分类检测后的图片才能送入后面的强分类器检测,比较靠前的几级分类器可以过滤掉大部分的不合格图片,只有通过了所有强分类器检测的图片区域才是有效人脸区域。光流是空间运动物体在成像平面上的像素运动的瞬时速度,是利用图像序列中像素的变化以及相邻帧之间的相关性,来找到上一帧跟当前帧的像素点之间存在的对应关系,从而计算出相邻帧之间像素点的运动信息的一种方法。原创 2023-09-30 21:07:13 · 461 阅读 · 1 评论