一抹烟霞的博客

原创 模型中的text_pool

它不是 token，不是 embedding 表，而是。

原创 普通 Attention、FlashAttention、SageAttention的区别

教科书实现，现在几乎不用。

原创 ubuntu设置CPU和GPU拉满

sudo cpupower frequency-set -g performancesudo nvidia-smi -pm 1sudo nvidia-smi -pl <MAX_WATT>nvidia-settings -a "[gpu:0]/GPUFanControlState=1"nvidia-settings -a "[fan:0]/GPUTargetFanSpeed=90"

原创 模型与激活函数

原创 熵和fisher信息的关系

核心三条定律（必须掌握）：① De Bruijn 恒等式：熵的导数 = ½ Fisher 信息ddtHXtZ12JXtZdtd​HXt​Z21​JXt​Z② Stam 不等式：熵功率 × Fisher 信息 ≥ 1（高斯最优）NXJX≥1NXJX≥1③ 熵与 Fisher 信息互逆高熵 → 分布更散 → 梯度更小 → Fisher 信息更小低熵 → 集中 → 梯度更大 → Fisher 信息更大。

原创 Fisher Information（费舍尔信息）

对于一个概率分布函数 ( f(x;

原创 解决 PyTorch 中的 libnvJitLink.so.12 报错问题

python−cimportsiteos;printospathjoinsitegetsitepackages0′nvidia′′nvshmem′′lib′))

原创 什么是VAP prompt

prompt 是“人类控制信号”，VAP prompt 是“模型内部控制信号”。“生成图像时，我应该额外参考这个隐式提示 embedding。提供一个尊重模型分布的“可学习先验”，提升生成质量与稳定性。额外的、可训练的“隐式提示 embedding”这会让模型“默认带入一个额外提示”。扩散模型最近的发展越来越依赖。

原创 混合精度训练为什么需要loss_scaler

混合精度训练中使用loss_scaler主要是为了解决。

原创 直线的Plücker 表示

Plücker 表示把三维空间中的一条直线用 6 个数来表示（通常写成一个6-向量）。这种表示把“方向 + 动量(moment)”或“方向 + 力矩”合并在一起，能在代数上方便地处理直线的相交、共面、距离等运算。常用的矢量形式记为Luv∈R6其中u∈R3是直线的方向向量（可以不单位化），v∈R3称为（动量）向量，定义为任意在线上的点p与方向uvp×u（任取同一条直线上的不同点p会产生相同的v，因为p×up0​×u对任何pp0​满足p。

原创 ssh如何打开可视化界面

则是信任的 X11 转发，允许更多的权限，通常推荐使用。会启用基本的 X11 转发，而。

原创 50系GPU上安装MMCV

【代码】50系GPU上安装MMCV。

原创 杀死后台占用显存的python进程

fuser -v /dev/nvidia0 2>/dev/null | grep python | awk '{print $2}' | xargs kill -9

原创 修复ImportError: libnccl.so.2: cannot open shared object file: No such file or directory

https://docs.nvidia.com/deeplearning/nccl/install-guide/index.htmlhttps://developer.nvidia.com/nccl

原创 修复：ImportError: libcusparseLt.so.0: cannot open shared object file: No such file or directory

https://discuss.pytorch.org/t/importerror-libcusparselt-so-0-cannot-open-shared-object-file-no-such-file-or-directory/190061/5

原创 如何使用conda虚拟环境编译ros包

conda create -n ros_env python=3.8 -y # Noetic 支持 Python 3.8。✅ 4. 安装依赖项(CMake、catkin、rosdep 等)✅ 3. 在 Conda 环境中配置 ROS 环境变量。✅ 5. 初始化 rosdep(如果还没做)✅ 6. 创建并配置 Catkin 工作空间。✅ 2. 创建并激活 Conda 环境。

原创 深度优先和广度优先搜索

【代码】深度优先和广度优先搜索。

原创 重新启动CUDA驱动

重新启动CUDA驱动在Linux中，CUDA驱动通常是由NVIDIA的nvidia-driver控制的。如果CUDA驱动出现问题，你可以通过重启NVIDIA的驱动程序来恢复正常。可以通过以下步骤进行重启：1.1 停止GPU服务你可以使用以下命令停止nvidia-persistenced服务(这个服务管理GPU的持久化模式)：sudo systemctl stop nvidia-per...

原创 解决vscode无法打开大的文件

"files.maxFileSizeMB": 这是另一个相关设置，它定义了 VSCode 能够尝试打开的最大文件大小(以MB为单位)。如果你的文件大小超过了这个限制，VSCode 可能不会打开这个文件。因此修改这个为较大的值即可...

原创 解决huggingface下载过慢的问题

使用国内镜像export HF_ENDPOINT="https://hf-mirror.com"

原创 多格式3D可视化工具

https://3dconvert.nsdt.cloud/conv/to/xyz

原创 python:urllib.error.URLError: urlopen error [SSL: CERTIFICAT

import sslssl._create_default_https_context = ssl._create_unverified_context

原创 各种特殊损失函数

死区损失函数点击查看代码import numpy as npimport matplotlib.pyplot as plt# Define the parametersa = 2b = 5epsilon = 0.1# Define the loss function L(x) and its derivativedef L(x, a, b, epsilon): ...

原创 特征值和特征向量的几何意义

原创 矩阵求导网站

https://www.matrixcalculus.org/

原创 方差传递公式

假设\(Y=f(X)\),则$Var(Y) = \Sigma{\frac{\partial f}{\partial x_i}} Var(x_i) $

原创 二分图匹配算法

匈牙利算法、Hopcroft-Karp算法和Kuhn-Munkres算法是三种常见的二分图匹配算法，它们在实现方式、时间复杂度和适用场景上有所差异。以下是它们的区别和优缺点：匈牙利算法：实现方式：匈牙利算法使用深度优先搜索(DFS)来寻找增广路径，通过不断更新匹配的顶点对来找到最大匹配。时间复杂度：匈牙利算法的时间复杂度为O(VE)，其中V是顶点数，E是边数。优点：实现简单，易于理...

原创 旋转向量与旋转矩阵的相互转化

【代码】旋转向量与旋转矩阵的相互转化。

原创 chatgpt论文润色

https://github.com/binary-husky/chatgpt_academic

原创 Ceres 中的线性求解器类型（linear_solver_type）

Ceres Solver中的线性求解器类型(linear_solver_type)有多个选项，包括：DENSE_QR：使用稠密QR分解方法求解线性方程组。适用于内存足够的小规模问题，求解速度较快。DENSE_SCHUR：使用Schur补方法进行求解。适用于大规模问题，但内存消耗较大。SPARSE_NORMAL_CHOLESKY：使用稀疏Cholesky分解方法求解正规方程。适用于具有稀...

原创 VSCode连接远程服务器里的docker容器

https://zhuanlan.zhihu.com/p/361934730

原创 ImportError: OpenCV loader: missing configuration file: ['config-3.8.py', 'config-3.py']. Check Open...

https://blog.csdn.net/u014734886/article/details/96997097

原创 增加swap空间

https://blog.csdn.net/littleRpl/article/details/92626436?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Rate-1-92626436-blog-53610412.pc_relevant_...

原创 公开数据集下载

https://opendatalab.org.cn/

原创 一文入门图像分类

在这里插入图片描述](https://img-blog.csdnimg.cn/f92eadb1b35843bf82d98c6f9aa1b46e.png)query：查询特征，即我关心的特征有哪些。以自动驾驶举例，比如我关心车、行人、车道等三类特征；## 4.6 随机深度 Stochastic Depth。key：图像中有什么，比如图像中有车和车道这两种特征。## 4.6 丢弃层 Dropout。

原创 Eigen中pretranslate和translate的区别

pretranslate(t)表示对三维空间向量v进行旋转操作R后，直接加上该平移量t，即Rv+t；而translate(t)需要对t也进行旋转操作，即Rv+Rt。

原创 基于梯度下降神经网络训练整体流程

批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，其数学形式如下：优缺点：在凸优化(Convex Optimization)的情况下，一定会找到最优解在非凸优化的情况下，一定能找到局部最优解由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢,单次参数调整计算量大不适合在线(Online)的情况。

原创 计算两个向量的旋转矩阵

先叉乘得到旋转轴再点乘得到角度最后使用Rodrigues 公式https://zhuanlan.zhihu.com/p/134299994

原创 如何在命令行使用conda虚拟环境

在命令行指定python路径启动： ~/anaconda3/envs/<你的虚拟环境路径>/bin/pythonx.x

原创 切换bash和zsh

切换成bashchsh -s /bin/bash切换成zshchsh -s /bin/zsh