Ven%的博客

同一网段：类似小区内的邻居，直接通信，不经过网关。不同网段但同一内网：类似公司不同部门，通过内部路由器转接。跨互联网的不同网段：必须通过公网IP，可能需要端口映射/NAT（比如远程访问家里的摄像头）。

第五步 找到对模型进行重新排序,然后搜索reranker模型 点击下载(其他类型的模型同理)第四步 看不懂英文没关系,右键空白处,选择翻译为中文。第三步 在edge浏览器的地址栏里输入。下载依赖需要一些时间。访问,直接有一个界面。

这个错误表明在安装auto_gptq包时，生成 QiGen 内核时失败了。具体来说，setup.py脚本尝试运行一个 Python 脚本来生成内核，但该脚本不存在或无法访问。

全参微调会改变模型原本的参数，使其更好地适应新任务，但也可能带来一些副作用（如灾难性遗忘）。是否选择全参微调，取决于任务需求、数据规模和计算资源。如果希望保留预训练模型的通用特征，可以考虑部分微调或其他参数高效微调方法（如LoRA、Adapter等）。

通过这些方法，可以显著提升下载速度。手动下载whl文件并使用。

torch环境冲突:AttributeError: module 'torch.library' has no attribute 'register_fake'

要在关闭 SSH 远程连接后继续运行nohup是一个常用的工具，可以让进程在关闭终端后继续运行。

在安装DeepSpeed时设置环境变量DS_BUILD_CPU_ADAM=1，这样可以确保编译出cpu_adam.so文件。

使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。注: 若不知道这个配置的代表什么含义的话，可以看这一篇。

安装的 CUDA 版本（11.8）与 PyTorch 所编译的 CUDA 版本（12.1）不匹配，导致无法正常编译 DeepSpeed 所需要的 CUDA/CPP 扩展。如果你无法调整本地的 CUDA 和 PyTorch 安装，可以使用 Docker 容器，选择正确的 CUDA 和 PyTorch 版本来避免不兼容问题。如果你无法更改系统里的 CUDA 版本，可以尝试安装一个与你现有 CUDA 版本（11.8）兼容的 PyTorch 版本。再次运行上面的检查命令，确保你的系统带匹配的 CUDA 版本。

下载好了ollama,也run了模型,跑起来。但是不知道ollama拉下来的模型到底放在哪里了？如果需要使用不同的目录，将环境变量OLLAMA_MODELS设置为您选择的目录。

目录下，会使用到系统盘的内存。因此需要修改pip的全局缓存位置和全局安装包存放路径,可以极大的节省系统盘内存。可以通过编辑配置文件，设置安装目标位置。的缓存位置和安装目标位置。会默认将下载的文件存放在缓存目录中（如 Linux 的。），如果你需要更改这个目录，可以通过设置环境变量。的当前缓存目录和配置内容，以便确认是否生效。当遇到系统盘的内存很小的时候,在默认情况下，会将安装的包存放在 Python 环境的。的默认行为，包括缓存位置和安装路径等。的存放目录），可以通过以下方法实现。

这个错误信息表明您正在使用 PyTorch 的分布式训练功能，但您的 GPU（RTX 4000 系列）不支持 P2P 或 IB 通信方式。如果您仍然遇到问题，请检查您的程序和环境配置，确保一切正常。同时，您也可以尝试使用其他分布式训练框架或工具，例如。：确保您的 GPU 驱动是最新的，并且支持 PyTorch 的分布式训练功能。这将禁用 P2P 和 IB 通信方式，允许您的程序使用其他通信方式。：确保您的网络配置正确，并且允许您的程序使用必要的通信方式。

如果你使用ufw，可以通过删除端口规则。如果你使用iptables，可以列出规则并使用删除特定的规则。

使用允许特定 IP 访问某个端口。使用允许特定 IP 访问所有端口。使用查看现有规则。使用删除或修改现有规则。通过以上步骤，你可以灵活地配置指定 IP 的防火墙规则。

【代码】linux命令：通过文件名查找在哪个目录下。

这些快捷键适用于大多数 Unix/Linux 系统和 macOS 终端，以及 Windows PowerShell。

这里选择的是Anaconda3-2024.10-1-Linux-x86_64.sh。Linux系统内核有两种,一种为aarch64,另一种为X86_64。输入conda -V,出现 conda xx.x.x,安装成功!开始安装,一直enter ,yes 直到安装完。使用命令uname -a 查看系统内核。可以看到系统内核是X86_64的。打开/etc/profile。出现这个就代表安装完成了。打开 ~/.bashrc。

无论你使用哪种 Linux 发行版，安装 Git 都非常简单，通常可以通过发行版的包管理器来安装。如果需要特定版本或从源码安装，也可以按照上述步骤进行。安装完成后，你可以配置 Git，并开始使用它来管理你的代码和版本控制。

命令来查看硬盘的大小和使用情况。它会以人类可读的格式显示磁盘空间。这个命令会列出所有挂载的文件系统和它们的大小、已用空间、可用空间等信息。

对于NVIDIA 显卡，安装过程涉及添加 NVIDIA PPA、安装驱动并重启。对于GPU 计算任务，可以额外安装 CUDA 和 cuDNN。使用nvidia-smi来检查驱动是否成功安装并正常运行。如果遇到任何问题，确保检查显卡型号是否匹配驱动版本，或者查看驱动安装日志以排查问题。

要设置 SSH 在系统启动时自动启动，您需要确保 SSH 服务在开机时自动启动。

在 Ubuntu 服务器中，通常不会启用系统睡眠（即 suspend）模式，因为服务器通常需要保持持续运行以提供服务。

要查看 Linux 系统内核是aarch64。

默认情况下，SSH 服务监听端口 22。以上方法应该能帮助你确认 SSH 服务是否可用。如果连接成功，表示 SSH 服务是可用的。

对于现代 Ubuntu 版本（17.10 及以后），推荐使用netplan配置静态 IP。对于较旧版本的 Ubuntu，使用配置。你还可以使用nmcli管理通过 NetworkManager 管理的连接。设置完成后，你可以通过ip a或ifconfig验证网络设置是否生效。如果遇到问题，可以查看网络服务的日志或重启服务器进行排查。