weixin_74009895的博客

原创 css、index.html实现图片上传服务器

我想要将自己的这个index.html中的上传图片功能能够“真正”将图片上传到服务器。

原创 解决常规index.html文件无法加载本地txt文件的方法

我的文件内容为：现在是使用本地html但是无法加载这个txt内容。

原创 cifar10数据集转图片

将测试集的第一条转化为图片格式。

原创 (raylet) file_system_monitor.cc:111: /tmp/ray/session_2025-05-07_10-57-35_266368_3504255 is over 95%

【代码】(raylet) file_system_monitor.cc:111: /tmp/ray/session_2025-05-07_10-57-35_266368_3504255 is over 95%

原创 TypeError: Descriptors cannot be created directly. If this call came from a _pb2.py file, 解决方法

【代码】TypeError: Descriptors cannot be created directly. If this call came from a _pb2.py file, 解决方法。

原创 第50篇：（GSAM）SURROGATE GAP MINIMIZATIONIMPROVES SHARPNESS-AWARE TRAINING

我们在图 3 中通过数值玩具示例展示了不同的算法。

原创 可视化平坦度的代码，适用于swa和sam

ConvNet 和 ConvNet100 函数用于创建不同类别数量的 ResNet 模型。​。

原创 第49篇：AdaSAM——通过自适应学习率和动量加速提升锐度感知最小化

在训练深度神经网络时，传统优化器如，但在复杂模型和大规模数据面前存在。通过引入额外的扰动步骤来优化模型的泛化性能，但存在等不足(SAM需要计算2倍的参数）

原创 泛化误差和经验误差

原创 第47篇：锐化感知最小化在训练后期有效地选择更平坦的最小值SHARPNESS-AWARE MINIMIZATION EFFICIENTLY SELECTS FLATTER MINIMA LATE I

也能获得。

原创 强制中断由于关闭ray进程后的残余进程

我正在使用ray框架在服务器上跑代码，然后ctrl+c终止代码，结果发现，后台仍有残余进程。可以看到其实ray并没有被真正关闭。

原创 上采样和下采样

指或。

原创 第46篇：On the Effectiveness of Parameter-Efficient Fine-Tuning+

基于投影的方法。

原创 “ImportError: numpy.core.multiarray failed to import”解决方法（numpy问题）

（连续输入两次，因为卸载一次只是卸载了一个numpy,一般电脑上有两个numpy，分别是pip的和conda的）

原创 第44篇：《SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models》

边缘设备资源有限（计算、通信、存储），直接全量微调（FFT）成本高；数据分布异质性（非IID）导致传统PEFT方法（如LoRA）性能显著下降（图1显示PEFT与FFT的差距越大异质性影响：数据越异质，SLoRA相对LoRA的优势越明显（图3、图6显示PEFT基线在异质数据下性能暴跌，SLoRA保持稳定）。在集中式学习中，LoRA 在不同任务上始终展现出良好的性能，且与全量微调（FFT）的准确率相当接近。对于数据分布更均匀（α 值较大）的联邦学习场景，这种情况依然成立。

原创 MobaXterm实现无中断连接服务器

长时间没有点击MobaXterm，它就会自动断开服务器。

原创 pycharm查看具体函数的用法（点击方法进入详细界面）

我想要知道这个具体的train方法是什么内容。

原创 L光滑性介绍

原创 机器学习/深度学习中的“各种通信协议示意图”

①a:经典的联邦学习方案（中央服务器可能会面临系统故障或恶意攻击的风险，这可能会威胁到用户隐私泄露或被破坏训练过程）此外，通信过程完全发生在服务器-客户端端，这可能会对服务器造成相当大的通信负担。不存在b-d所示的全局模型状态，参与的客户端遵循通信协议达成所谓的共识模型。

原创 对比学习基础介绍

对比学习的核心任务就像是你在一个聚会中努力通过视觉特征（服装、语言等）辨认朋友并避开陌生人。通过不断训练，你的“聚会识别能力”会越来越强，最终在其他类似场景中（如学校聚会）也能快速找到朋友。

原创 （第24篇）lora论文讲解LoRA: Low-Rank Adaptation of Large Language Models（微调、预训练模型）

①微调（Fine-Tuning, FT）对模型所有参数进行完整更新。缺点：参数量大、训练成本高（如 GPT-2 Medium 的可训练参数达 354.92M）。②偏置微调（Bias-only, BitFit）仅训练模型中的偏置参数，其余参数冻结。参数量小，但效果可能不如其他方法。③前缀嵌入微调（Prefix Embedding Tuning, PreEmbed）在输入中插入优化的提示标记（Prompt）作为额外的嵌入，模型根据这些标记调整输出。可训练参数量与标记长度成正比。

原创 用python写一个gradio界面的简易例子

Gradio 是一个用于快速创建机器学习模型演示界面的 Python 库，允许用户通过网页浏览器与模型进行交互。它的核心功能是将模型的输入输出可视化，无需复杂的前端开发即可生成可共享的交互式界面。

原创 huggingface下载大模型

我们直接在pycharm上下载大模型（比如），大概25G，会非常慢，而且下载基本上会失败，如下：所以我们要学习一下如何自己下载然后让代码自动读取下载好的大模型。

原创 pytz: No module named ‘pytz‘问题解决方法

卸载pytz再重新安装。

原创 cannot import name ‘Image‘ from ‘PIL‘ (unknown location)解决方法

这个是因为Pillow的问题。

原创 cannot import name ‘ExportOptions‘ from ‘torch.onnx._internal.exporter‘解决方法

进程已结束，退出代码为 1。

原创 triton==2.1.0的下载方式

下载符合自己版本的。

原创 ai图片处理工具（一键去除图片上的马赛克）Demo CECIM

8.94 复制打开抖音，看看【强哥轻创业的作品】好莱坞视频，去马赛克，图片开口说话唱歌 # 短视频... https://v.douyin.com/iPNMjyjf/ 12/10 EhB:/ g@O.kc。第一部分：Demo CECIM。

原创 第32篇：FEDBIOT论文讲解

旨在解决在联邦学习中进行LLM微调时的两个主要挑战：①计算和通信成本②无法访问完整模型的问题。

原创 第35篇：FedDPA论文讲解

在联邦学习系统中，每个客户端有本地训练数据集和测试数据集。测试数据集含与训练数据分布相同及不同的测试集。模型目标是在本地任务表现良好（个性化）且在测试任务上有较好表现（测试时性能）。

原创 第33篇：DP-LORA论文讲解

性能下降趋势：随着隐私设置的加强（即 ε 和 δ 值降低），所有模型的性能普遍下降。例如，Llama-7B模型在LiveQA任务上的性能从原始设置的69.4下降到 ε 减少到2时的55.9，以及当 δ 减少到 1×10−6 时的49.3。这表明隐私保护与模型效用之间存在权衡。模型间的差异：一些模型如ChatGLM-6B在 ε 值变化下表现出更强的鲁棒性。例如，其在LiveQA任务上的性能仅从原始的71.9略微下降到 ε 增加到10时的67.3。这表明某些模型可能更适合隐私敏感的应用。隐私与效用的权衡。

原创 高效的科研绘图工具Figdraw （国家自然科学基金绘图，项目框架，整体路线图）

然后就可以自己发挥画图啦！

原创 第30篇：（FedGF）Rethinking the Flat Minima Searching in Federated Learning（新型平坦最小化）

论文主要解决了联邦学习（Federated Learning，FL）中的问题。在FL中，客户端之间的数据分布通常存在异质性（non-IID），这使得全局模型的汇聚变得非常困难，导致模型的性能不佳。尽管采用Sharpness-Aware Minimization（SAM）等方法在本地训练中能够找到，但在上，这种局部的平坦最小值并不能有效地转化为全局平坦最小值，尤其是在数据分布高度异质的情况下。论文定义了这个问题为，并指出这种差异会显著影响FL方法的性能。

原创 联邦学习个性化顶刊顶会汇总

2.Layer-wised Model Aggregation for Personalized Federated Learning无1.Personalizing Federated Medical Image Segmentation via Local Calibration。

原创 联邦学习+差分隐私的几种差分隐私类型

采用“客户端 - 可信服务器”二元拓扑结构。客户端将原始数据集传输至服务器，服务器运用全局敏感度计算噪声量级，再采用拉普拉斯机制或高斯机制对聚合数据施加扰动。其优势在于能利用全局数据计算扰动，隐私保护效果较好；缺点是依赖可信服务器，若服务器不可信，数据隐私易泄露。适用于对服务器信任度高、数据集中处理的场景。

原创 SAM相关可视化景图

Hessian矩阵是损失函数对模型参数的二阶导数矩阵，其特征值反映了损失函数在极值点附近的曲率信息。SAM通过优化损失函数的平坦性，使得Hessian矩阵的特征值更小，从而提高模型的泛化能力。绘制方法：计算Hessian矩阵：在模型训练完成后，计算Hessian矩阵。特征值分解：对Hessian矩阵进行特征值分解，得到特征值。绘图：使用Matplotlib等工具，将特征值按大小顺序排列并绘制为折线图或柱状图。

原创 “一个全连接层（也称为密集层）的参数数量”计算方式

一个全连接层能有多少个参数？（比如输入维度64，输出维度10）

原创 wps中目录出现“错误！未定义书签”的解决方法

更新页码：ctrl+shift+f9。

原创 第31篇：FedSA-LoRA（联邦学习+lora+个性化升级版）

验证生成的摘要是否与原文一致。

原创 第43篇：惩罚梯度范数Penalizing Gradient Norm for Efficiently ImprovingGeneralization in Deep Learning

公式（6）->公式（10）->公式（11）（4）惩罚梯度范数的算法1。