![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习过程中遇到的问题
文章平均质量分 69
追风赶月。
目标是深度学习大师。
展开
-
【大模型学习】多模态大模型进行偏好优化
训练模型以理解并预测人类偏好是一项复杂的任务。传统方法如SFT(监督微调)通常需要较高的成本,因为这些算法需要对数据进行特定标签的标注。偏好优化(Preference Optimization)作为一种替代方案,可以简化这一过程并提供更准确的结果。通过对候选回答的对比和排序,而不是赋予固定的标签,偏好优化能够更高效地捕捉人类偏好的细微差别。虽然偏好优化已经在大语言模型中广泛使用,但现在它也可以应用于视觉语言模型(VLM)。得益于。原创 2024-08-08 10:41:16 · 782 阅读 · 0 评论 -
【大模型学习】快速下载大模型权重和评估大模型占用显存
首先,我们需要设置环境变量以使用镜像站点加速下载。这里repo_id可以直接在Hugging Face官网上复制得到:local_dir就是保存在自己本地的文件夹,force_download就是支持断点续传,避免中途因为网络断了,导致要重新下载。此外,我们可以通过和参数允许或者忽略某些文件以支持断点续传和正则匹配,因为大模型的权重一般是分成了好几个包,如果同时下载可能会导致网速变慢,所以我们可以设置这个参数,选择先下载一部分的包。原创 2024-08-07 14:27:45 · 631 阅读 · 0 评论 -
【机器学习】gumbel softmax的介绍
Gumbel-Softmax 是一种技术,用于在离散选择中引入可微分的近似。这对于需要在神经网络中进行离散采样(如分类任务或生成离散数据)而不破坏梯度计算非常有用。Gumbel-Softmax 可以看作是对经典的 Softmax 函数的一种扩展,结合了 Gumbel 噪声,用于逼近离散的 one-hot 向量,同时保持梯度的可计算性。在许多机器学习任务中,需要从一个离散的分布中采样。例如,在强化学习或生成模型中,可能需要从一组离散的动作或词汇中进行选择。原创 2024-06-25 18:49:11 · 1370 阅读 · 1 评论 -
【PyTorch函数解析】einsum的用法示例
einsum 是一个非常强大的函数,用于执行张量(Tensor)运算。它的名称来源于爱因斯坦求和约定(Einstein summation convention),在PyTorch中,einsum 可以方便地进行多维数组的操作和计算。在Transfomer中,einsum用的非常多,比如使用 einsum 实现自注意力机制中注意力权重的获取,也就是Q和K的内积:Q(Query):形状为 (batch_size, seq_len, d_k)原创 2024-06-25 18:27:48 · 912 阅读 · 0 评论 -
【问题解决】ImportError: generic_type: cannot initialize type “ExternalAllocator“
我的环境是Ubuntu20.04,Cuda版本是11.4,在复现OpenPCDet的时候遇到了下面问题:原创 2024-05-22 16:59:32 · 368 阅读 · 0 评论 -
【学术工具】Ubuntu环境利用bypy进行无图形化快速下载文件
近日使用百度网盘下载东西的时候遇到了一个问题,Ubuntu环境不知道为什么一直登录不进百度网盘。找了很多攻略都没有解决问题,以此考虑另辟蹊径。原创 2024-05-18 11:25:29 · 264 阅读 · 0 评论 -
【3D目标检测】常见相关指标说明
mean Average Precision(平均精度均值),它是目标检测和信息检索等任务中的重要性能指标。mAP 通过综合考虑精度和召回率来衡量模型的总体性能。原创 2024-05-07 13:33:31 · 1079 阅读 · 2 评论 -
【Pycharm学习】解决Python Console中文乱码的问题
Pycharm中的Python Console中文乱码问题原创 2024-03-20 13:34:33 · 501 阅读 · 3 评论 -
【指标原理】CNN和ViT的FLOPs、参数量计算
FLOPs(Floating Point Operations)是浮点运算次数的缩写,其计算包括所有的浮点数加法、减法、乘法和除法运算。在深度学习领域,FLOPs特别用来量化一个神经网络模型进行一次前向传播所需的浮点运算数量,这对于评估模型的计算效率和资源需求非常有用。原创 2024-03-14 16:59:06 · 2021 阅读 · 1 评论 -
【基础原理】卷积计算公式(n-k+2p)/s+1的理解
对于卷积计算问题,我们可以简化一下,只考虑一个维度上的计算,毕竟特征图算的时候,无非尺寸就是平方倍关系。原创 2024-03-07 18:33:24 · 234 阅读 · 0 评论 -
【学术工具】Notion3.1.0中文汉化教程——以Mac为例,Win系统可参考
将下载好的app.zip解压,放在Resources文件夹中,下载的app.asar替换原本的app.asar。注意先关闭Notion,然后打开访达-右键Notion.app,点击显示包内容。点击Contents,进入到Resources文件夹。顶部的菜单栏没有汉化,只汉化了程序内部。打开Notion即可。原创 2023-12-15 15:41:52 · 4119 阅读 · 5 评论 -
【学术资源】如何利用IEEE Collabratec免费升级Overleaf Premium(过程详细、操作简单)
如何利用IEEE Collabratec免费升级Overleaf Premium原创 2023-11-19 11:33:39 · 1733 阅读 · 5 评论 -
科研学术的写作环境搭配(LaTeX+VSCode+Sumatra PDF/Skim)Win/Mac通用
科研学术的写作环境搭配(LaTeX+VSCode+Sumatra PDF/Skim)Win/Mac通用原创 2023-01-26 16:16:58 · 2990 阅读 · 4 评论 -
解决用summary.py打印模型结构时报错AttributeError: ‘NoneType‘ object has no attribute ‘size‘
解决用summary.py打印模型结构时报错AttributeError: 'NoneType' object has no attribute 'size'原创 2023-01-15 20:45:48 · 2516 阅读 · 3 评论 -
解决YOLO v5的AttributeError: Can‘t get attribute SPPF on module models. common的问题
问题描述:在运行YOLOv5的detect.py程序时候,出现了以下错误提示AttributeError: Can‘t get attribute SPPF on module models. common from D://yolov\yolov5-5.0\models\common.py解决方法:在GitHub中下载YOLOv6,打开文件找到models文件夹:在models文件夹中找到common.py,打开后使用查找SPPF关键词,找到文件中SPPF类,将下列代码与之替换: clas原创 2021-10-24 10:14:26 · 25221 阅读 · 1 评论