微调模型VS显存 SFT：全参数微调包含梯度、优化器激活 1B精度-fp32-模型大约需要4GB梯度显存（每个参数都需要有一个梯度）： 4GB优化器显存：以adamw优化器为例，他需要自身参数+参数动量+参数方差=4GB+4GB+4GB=12GB； PEFT：需要的显存与模型没有大的区别，主要看PEFT部分，大概是几M到几GB。
langchain内置了如下文档切分器 沿着Latex标题、标题、枚举等分割文本，如下面的分割符涉及的多个符号，如chapter，section，subsection等。按字符串分割文本，递归地尝试按不同的分隔符进行分割文本。沿着Markdown的标题、代码块或水平规则来分割文本。使用 NLTK（自然语言工具包）按句子分割文本。基于指定的标题来分割markdown 文件。沿着python类和方法的定义分割文本。使用 Spacy按句子的切割文本。按token来分割文本。按token来分割文本。
Linux查看GPU信息和使用情况 Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；Disp.A：是Display Active的意思，表示GPU的显示是否初始化；Volatile GPU-Util：浮动的GPU利用率；命令行参数-n后边跟的是执行命令的周期，以s为单位。Temp：显卡内部的温度，单位是摄氏度；Bus-Id：涉及GPU总线的相关信息；Compute M：计算模式；
ubuntu大模型GPU版本安装及部署 nvcc -V 查看系统安装的cuda驱动（注意这是系统当前使用的cuda驱动，也可以同时存在多个cuda，使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本）sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译。sudo apt install nvidia-utils-535 (nvidia-smi在线安装)
禁用ssh 22端口 2. 打开SSH配置文件，可以使用任何文本编辑器，如vi或nano。在大多数Linux发行版上，SSH配置文件位于/etc/ssh/sshd_config。3. 确定正在使用的防火墙规则后，关闭SSH端口。在Linux系统中，要关闭SSH端口，可以通过修改SSH配置文件或防火墙规则来实现。2. 检查系统上正在运行的防火墙，可以使用iptables或firewalld。可以尝试通过SSH连接到关闭的端口来进行验证。– 如果使用iptables，执行命令：sudo iptables -L。
学习率了解一 微调预训练模型：当使用已经预训练好的模型（如在特定任务上微调BERT）时，通常使用非常小的学习率（例如5e-5或更小），这是因为预训练模型已经非常接近优化目标，我们只需要做一些轻微的调整。细致调整：当你发现模型的性能开始稳定，但还需要进一步优化时，可以减小学习率（例如0.001或0.0001），帮助模型更精确地找到最优解。5e-5（0.00005）：非常小的学习率，常见于预训练模型的微调阶段，例如在自然语言处理中微调BERT模型。1e-2（0.01）：中等大小的学习率，常用于许多标准模型的初始学习率。
精度了解一 BF16也是16位的，但它在表示数的方式上和FP16不同，特别是它用更多的位来表示数的大小（指数部分），这让它在处理大范围数值时更加稳定。在表示数的方式上和FP16不同，特别是它用更多的位来表示数的大小（指数部分），这让它在处理大范围数值时更加稳定。想象一下，如果你有一个非常精细的秤，但现在只用这个秤的一半精度来称重，这就是FP16。这是使用32位浮点数进行计算的方式，可以想象为一个标准的、全功能的精细秤。这是使用32位浮点数进行计算的方式，可以想象为一个标准的、全功能的精细秤。
模型评估一 模型表现效果：过拟合（所建的机器学习模型在训练样本中表现得过于优越，导致在测试数据集中表现不佳）、欠拟合（模型学习太粗糙，连训练集中样本数据的特征关系都没有学出来）回归模型评估：均方根误差RMSE（p_i为预测值，a_i为实际值）、相对平方误差RSE、平均绝对误差MAE、相对绝对误差RAE。分类模型评估：准确率（预测正确的数占样本总数的比例）、精确率、召回率、F1-score、AUC指标。
AttributeError: module ‘google._upb._message‘ has no attribute ‘Message‘ 【代码】AttributeError: module ‘google._upb._message‘ has no attribute ‘Message‘
遗传算法理解 最近有个项目，需要做启发式算法的最优解，所以想用遗传算法解决。遗传算法，遗传就是生物学里的继承关系。从父辈，祖辈不断的继承和变异基因，从石器时代的石头变成现在的便携式电脑，从大哥大到苹果13promax。 从60hz 到120hz。代表了每个时代的适应性和变革性。如图一 遗传算法流程图图一第一步 Initialization初始化解释：随机产生多个物种，万物混沌，有恐龙有天上飞的，地下跑的，生物多样性达到了巅峰第二步Fitness适合度解释：由于环境要求及变化，万
TF-IDF 通俗解释 特征提取名词解释1.特征提取对应着特征项的选择和特征权重的计算。2.特征项的选择就是指根据某个评价指标独立的对原始特征项(词语)进行评分排序，从中选取得分最高的一些特征项，过滤掉其余的特征项。3.特征权重的计算：主要思路是依据一个词的重要程度与类别内的词频成正比(代表性)，与所有类别中出现的次数成反比(区分度)。基于统计的特征提取方法（构造评估函数）TF-IDF词频（TF）公式= 某个词在文章中的出现次数 / 文章的总词数逆文档频率（IDF）公式 = log(语料库的文档总数
解决OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.问题 import osos.environ["CUDA_VISIBLE_DEVICES"] = "True"os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE'可以翻译这句话：CUDA not available - defaulting to CPU. Note: This module is much faster with a GPU.出现的是GPU版本和pytorch适用的问题。已经解决了...
关注
