- 博客(20)
- 收藏
- 关注
RSS订阅原创 【nlp】Transformer学习笔记
第一步：生成查询向量、键向量和值向量通过向量方式计算自注意力的第一步，就是从每个编码器的输入向量(即每个单词的词向量)生成三个向量：查询向量query-vec、键向量key-vec、值向量value-vec。
2024-09-06 22:49:06
526
原创 Colab部署微调Llama
目前，最简单的方法是使用Unsloth，它是一个微调模型的集成工具。通过Unsloth微调Mistral、Gemma、Llama，速度提高2-5倍，内存减少70%。Unsloth的github上有适合新手的Colab训练脚本：https://colab.research.google.com/drive/1Ys44kVvmeZtnICzWz0xgpRnrIOjZAuxp?usp=sharing，照着一步步执行就可以顺利微调成功简化后的代码如下：下载预训练模型默认已选择unsloth/Meta-Llama
2024-09-06 13:51:37
446
原创 Colab部署+微调ChatGLM
只需要在加载模型的位置修改成微调后的路径即可 将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称，运行以下指令进行模型推理和评测： 改这一行即可：--model_name_or_path ./output/$CHECKPOINT/checkpoint-3000。nohup 是 no hung up的缩写，意思是不挂断。衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。
2024-09-06 13:48:15
950
原创 【视频增强】RealBasicVSR使用记录＋超分重建技术和传统图像技术学习笔记
RealBasicVSR 是通过大量生成退化(例如Gaussian blur, Poisson noise, JPEG compression)的不同组合用作监督训练。通过不同退化的组合，RealBasicVSR 在一定程度上可以泛化到真实场景当中。RealBasicVSR 使用的是 Real-ESRGAN 的二阶退化模型，下图是 Real-ESRGAN 原文中的图解。
2024-09-06 13:41:11
1213
原创 解决Maven Java项目无法生成Target目录
错误: 找不到或无法加载主类 com.ustb.test.BTest。后来发现我运行后IJ没有自动生成target目录，只有out目录。出现这个错误后再网上广泛地搜索时很难找到真正问题的。网上一顿搜索依然没有解决。
2024-07-03 00:20:59
690
1
原创 【解题记录】FBI树
2. 若串 $S$ 的长度大于 $1$，将串 $S$ 从中间分开，分为等长的左右子串 $S_1$ 和 $S_2$；由左子串 $S_1$ 构造 $R$ 的左子树 $T_1$，由右子串 $S_2$ 构造 $R$ 的右子树 $T_2$。现在给定一个长度为 $2^N$ 的 01 串，请用上述构造方法构造出一棵 FBI 树，并输出它的后序遍历序列。1. $T$ 的根结点为 $R$，其类型与串 $S$ 的类型相同；对于 $40\%$ 的数据，$N \le 2$；第二行是一个长度为 $2^N$ 的 01 串。
2023-11-30 20:48:06
414
1
原创 【论文笔记】ABPN: Apex and Boundary Perception Network for Micro- and Macro-Expression Spotting
video encoding module (VEM)视频编码模块该模块主要侧重于在光流运动估计的基础上，从长视频中提取空间运动特征。probability evaluation module (PEM)概率评估模块目的是评估帧应该属于的类别expression proposal generation module (EPGM)表情建议生成模块根据每帧类别的概率为ME和MaE生成建议。
2023-11-20 01:01:18
216
1
原创 【解题记录】计蒜客-幻方矩阵
vector 内部包括了一个用来记录数据的数组，当我们不断向 vector 中增加元素时，这个数组也有空间用完的时候,这时 vector 内部会申请一个更大的新的数组，并将原数组中的数据复制到新数组中,之后替换原数组,刚开始看到题目的时候，以为是在考察十字链表的用法，所以一直在构造十字链表。所以只能换个思路使用数组，原因：vector不定长。
2023-11-14 20:02:15
86
1
原创 堆积木 出错原因
显示问题：xC0000005: 写入位置 0x00000000 时发生访问冲突的解决办法。原因：num[i]未给每一位malloc分配空间。
2023-11-10 17:28:31
56
1
原创 【opencv快速入门】
函数第六个参数为像素边界外推方法的标志，其可以的标志和对应的方法。需要说明的是，如果矩阵定义的是uchar类型的数据，在需要输入数据的时候，需要强制转换成int类型的数据进行输出，否则输出的结果并不是整数。需要注意的是，该函数的返回值是一个cv::Scalar类型的变量，函数的返回值有4位，分别表示输入图像4个通道的平均值，如果输入图像只有1个通道，那么返回值的后三位都为0，例如输入该函数一个单通道平均值为1的图像，输出的结果为[1,0,0,0]，可以通过cv::Scalar[n]查看第n个通道的平均值。
2023-10-07 20:07:11
201
1
原创 【吴恩达机器学习】笔记Week3
只有两个可能输出的分类问题 称为二元分类,其中 binary 一词是指只有两个可能的类或两个可能的类别。当额外添加例子的时候，线性回归拟合的决策边界会移动。logistic regression逻辑回归，虽然名字带有回归，但作用是分类。
2023-10-07 19:18:36
63
1
原创 【李飞飞计算机视觉】笔记Week1
Convolutional Neural Networks 卷积神经网络（CNN, convnets)图像分类：计算机视觉的核心任务难题：语义鸿沟（我们赋予图像的标签与计算机实际看到的像素值之间有着巨大的差距）视角变换光线问题形变illumination遮挡occlusion方法用于训练分类器。X是一个N x D的数组，其中每行代表一个训练样本，y是一个长度为N的一维数组，包含每个样本的类别标签。在方法内部，它简单地将训练数据X和类别标签y存储在类的实例变量self.Xtr和self.ytr。
2023-10-01 17:12:32
96
原创 【吴恩达机器学习】笔记Week2
按原数据，成本函数成椭圆形，梯度下降找全局最小值就可能会来回反弹很长时间，然后才能最终找到通往全局最小值的路。这是因为对 w1 进行非常小的更改可能会对估计价格产生非常大的影响，而对w2进行微小的更改，产生的影响较小。选择尽可能大的学习率， 或者只选择比我发现的最大合理值稍小的数值，即可保证J下降，又可尽量减少迭代次数。调试程序：设置一个非常小的学习率，如果此时J上升则说明是代码某处出现问题。例如：房屋面积的特征：土地的宽度、深度和土地面积的大小。左边的图横坐标是迭代次数，J的值应在每次迭代后都下降。
2023-10-01 16:46:00
64
原创 【微表情分析领域常用术语（方法）介绍】
在一个级联分类系统中，对于每一个输入图片，顺序通过每个强分类器，前面的强分类器相对简单，其包含的弱分类器也相对较少，后面的强分类器逐级复杂，只有通过前面的强分类检测后的图片才能送入后面的强分类器检测，比较靠前的几级分类器可以过滤掉大部分的不合格图片，只有通过了所有强分类器检测的图片区域才是有效人脸区域。光流是空间运动物体在成像平面上的像素运动的瞬时速度，是利用图像序列中像素的变化以及相邻帧之间的相关性，来找到上一帧跟当前帧的像素点之间存在的对应关系，从而计算出相邻帧之间像素点的运动信息的一种方法。
2023-09-30 21:07:13
551
1
原创 【吴恩达机器学习】笔记Week1
监督学习的关键特征是由正确的算法示例（包括正确的答案和正确的输出），最终学会了在没有输出标签的情况下单独获取输入，并对输出做出相当准确的预测或猜测。vectorization矢量化计算是指对应数据相乘然后总的相加（和矩阵乘法不同），使用的是python的Numpy库。α 学习速率，值大则跨度大，值小则跨度小，过于大的时候有可能错过最小点，从而代价函数的值反向上升。即在梯度下降的每一步中，我们都在研究所有的训练示例， 而不仅仅是训练数据的一个子集。在每一次计算J成本函数时，都会计算全部的训练数据。
2023-09-24 11:51:51
128
原创 CS50 Week7 SQL 上课记录
db.execute返回的是一个键值对集合的列表，哪怕里面只有一行也要使用列表的查看方式。python里的sort用法。键值对：”列名称”:"值"
2023-09-04 01:16:57
117
1
原创 CS50 Week6 Python记录
没有integer overflow问题，系统自动开辟新空间，自动释放内存；有integer overflow问题，有floating-point inprecision问题。数据类型，不可以更改本身，对其操作实际是系统做了一个副本。引入某个库中的某个函数。不用花括号，同样的缩进代表是同一段代码。def，可以返回任意数据类型，也可以不返回。int/void，决定函数的返回数据类型。其实是char指针，可以更改本身。input，输入的为字符串形式。元组，集合，列表，字典。不用","，但有":"
2023-09-03 15:52:15
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人