q742971636的博客

本文详细介绍了语义分割任务中常用的损失函数 ，并重点加入了边界感知损失（Boundary Loss） ，以解决图像分割中常见的边界模糊问题。

在PyTorch中，语义分割模型的输出形状通常为 (N, C, H, W)，其中 N 表示批处理大小，C 是类别数量，H 和 W 分别是输出特征图的高度和宽度。例如，对于4张512x512的图像和10类语义分割任务，输出形状为 (4, 10, 512, 512)。模型输出的是每个像素的类别得分（logits），可以通过 softmax 转换为概率分布，再通过 argmax 得到每个像素的预测类别。真实标签的格式为 (N, H, W)，表示每个像素的类别编号。模型输出可以通过颜色映射表可视化，生成彩色图像以展

Decoder 像一名“提问者”，Encoder 像一本“百科全书”。Cross-Attention 是 Decoder 根据当前生成状态（Query），从百科全书（K/V）中检索相关内容的过程。在问题17里有一句代码：也是多头注意力qkv那一套，只不过这里encoder出来的百科全书作为KV了。tgt 是来自decoder的。这就是交叉注意力。# Step 2: Cross-Attention（Query 来自 decoder，K/V 来自 encoder）

Transformer的自回归生成过程是一个逐步展开的动态计算过程，主要包括初始化阶段和逐步生成阶段。在初始化阶段，输入准备和内存预分配为后续生成奠定基础。逐步生成阶段通过计算查询、键和值（QKV），更新缓存，进行因果注意力计算，并预测下一个token。关键机制如KV缓存和动态掩码确保了计算的高效性和严格因果性。此外，不同的概率采样方法（如贪心搜索、温度采样和Top-p采样）影响生成结果的确定性和多样性。整个过程严格遵循自回归性质，通过并行计算优化实现高效生成。

Transformer自注意力机制通过动态计算词与词之间的关系，克服了传统序列模型的局限性。以句子"The cat sat on the mat"为例，首先将每个词映射为向量并添加位置编码，生成查询（Q）、键（K）和值（V）矩阵。通过点积计算注意力分数，经过缩放和Softmax归一化后，加权聚合值向量，生成每个词的上下文感知表示。多头注意力机制进一步扩展了模型的表达能力，允许同时关注不同的语义子空间。与传统RNN相比，Transformer能够直接建模长距离依赖，且支持并行计算，显著提升

在 Scaled Dot-Product Attention 中，除以 $\sqrt{d_k}$ 的核心目的是通过调整点积结果的方差为1，避免输入到 softmax 的值过大导致梯度消失。假设查询向量 $Q$ 和键向量 $K$ 的每个元素是独立同分布的随机变量，均值为 0，方差为 1，点积 $Q \cdot K$ 的方差为 $d_k$。将点积结果除以 $\sqrt{d_k}$ 后，方差被归一化为 1。这种缩放操作不仅避免了 softmax 输入值过大导致的梯度消失问题，还使得不同维度的注意力分数分布一致，从

脚本首先设置分布式训练参数（如节点数、GPU数量、主节点IP等），然后根据当前节点的RANK值区分主节点和工作节点：主节点启动Ray head服务并等待所有工作节点连接，工作节点则连接到主节点。当集群就绪后，主节点会启动训练脚本（qwen2_5_vl_7b_grpo_train.sh），同时集成了SwanLab实验跟踪工具，支持云端和本地训练日志记录。verl 依托于 Ray， 所以多机多卡使用需要使用Ray进行训练，Ray和torchrun的原理也差不多。

通过这次深入分析，我们了解到是控制 InternVL 图像分块数量、平衡细节与资源消耗的关键参数，合理调整它可以有效缓解显存压力。同时，我们也确认了 VLM-R1 框架具备完善的多图像样本处理能力。希望这些信息能帮助大家在训练自己的多模态模型时，更加得心应手！

也就相当于enable_thinking参数你传不传这里都是默认enable_thinking就是false，模板永远给空。在之前的文章里，教学了部署和请求的时候去给参数从而关闭thinking：https://www.dong-blog.fun/post/2053。翻译出来就是，如果enable_thinking被定义了，而且enable_thinking参数是false，那么think直接给空。但是还是麻烦，能不能默认就把这个thinking给关闭，从代码层面直接关闭？

我将对InternVL 3进行更深入的技术分析，结合代码和公式来详细阐述其核心技术、训练方法和推理部署。

使用这里的最新镜像：启动环境more。

归一化层作为深度神经网络的核心组件，直接影响模型的训练动力学与泛化能力。本文从数学推导与计算图视角系统解析LayerNorm与RMSNorm的算法差异，结合Transformer架构演进规律，揭示大语言模型时代归一化技术的工程选择策略。通过理论分析与实验数据交叉验证，阐明RMSNorm在百亿参数级模型中的性能优势及其物理意义。more。

自抗扰控制（Active Disturbance Rejection Control）由韩京清教授提出，其核心思想是将系统内外部的扰动统一视为"总扰动"，通过扩张状态观测器实时估计并补偿。：生成过渡过程并提取微分信号：实时估计系统状态和总扰动：综合误差生成控制量。

more。

【代码】Android Java Ubuntu系统如何编译出 libopencv_java4.so。

准确性：高精度地分离前景和背景。效率：优化以实现快速推理时间。多功能性：在各种图像类别（包括通用股票图片、电子商务、游戏和广告内容）中表现良好。内容安全：确保生成的内容安全且适当。合法授权的数据集：训练数据完全合法，避免法律问题。偏见缓解：训练数据中平衡了性别、种族和残疾人的代表性。

openwebui这个镜像里面是装了ollama的，直接进容器打开。这是量化后的模型，🈷约20G大小。吃62G显存，还需要max-model-len降到这么低，太大了。(img-yryWF50B-1731466165927)](img-gh4hPApW-1731466165928)](img-jHBWQPYw-1731466165928)]下载过程中如果网络突然慢了，那就断开，重新下，这个指令本身支持断点续传。Ollama默认绑定127.0.0.1端口11434。

vLLM是一个用于加速大语言模型推理的开源库，主要通过智能批处理和显存优化技术，使大模型在多GPU环境中高效运行。vLLM采用了动态KV缓存机制，这使得它在多请求场景中能够显著提升吞吐量和响应速度。

Qwen2.5通过其多种版本和增强功能，展现了在通用语言处理、编程、数学推理等多个领域的强大能力。无论是在技术提升还是在应用生态的广泛支持上，Qwen2.5都为开发者和研究人员提供了强有力的工具，预示着AI领域的新一轮创新浪潮。

模型地址：https://huggingface.co/collections/facebook/mobilellm-6722be18cb86c20ebe113e95。适用于移动设备的小型LLM，大小分别为125M、350M、600M、1B。Meta更新了MobileLLM。

官方介绍：https://si.inc/hertz-dev/hertz-dev：斯坦福开源的音频模型。音频端到端基础模型，延迟120ms。

官方教程文档：https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/llm/api_server.md。我已经把模型下载到/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4。浏览器访问接口文档：http://101.136.8.66:23333。该API类似于OpenAI的Completion API。该API类似于OpenAI的Completion API。获取详细API规范。获取详细API规范。

平均时间: 1.81 秒。

more。

max-model-len：这个参数表示模型的上下文长度，即模型可以处理的最大输入长度。如果用户输入的长度超过这个限制，模型通常会报告错误，表明输入过长。为了符合该限制，通常需要对输入进行截断。max_num_seqs：这个参数指定了在同一时间内可以并行处理的请求数量，也就是批处理中的序列数量。如果这个值设置得过高，可能会消耗更多的内存，因此降低它可以帮助节省内存。相差很大，Vllm快得多。平均时间: 16.79 秒。平均时间: 3.31 秒。平均时间: 1.63 秒。

【代码】LLama-Factory 快速部署Qwen2.5模型。

more。

InstantIR（Instant Image Restoration）是一种创新的单张图像修复方法。它通过利用即时生成的参考信息，实现对受损图像的高质量修复。得益于先进的生成模型和视觉编码器，InstantIR 不仅能够恢复图像细节，还支持通过文本提示进行性能增强，甚至实现定制化的图像编辑。

InstantIR（Instant Image Restoration）是一种创新的单张图像修复方法。它通过利用即时生成的参考信息，实现对受损图像的高质量修复。得益于先进的生成模型和视觉编码器，InstantIR 不仅能够恢复图像细节，还支持通过文本提示进行性能增强，甚至实现定制化的图像编辑。

PromptFix的设计初衷是让用户通过简单的文本提示，就能完成复杂的图像处理任务。🎨图像上色：为黑白或灰度图像添加逼真的色彩。🧹对象移除：从图像中删除不需要的物体或元素。🌫️去雾：消除图像中的雾气，提高清晰度。💨去模糊：对模糊的图像进行锐化处理。🖼️水印移除：去除图像上的水印或标志。❄️去雪：清理下雪场景中的雪花干扰。🌙弱光增强：提升在低光照条件下拍摄的图像质量。基于扩散模型的骨干网络，PromptFix在纠正图像缺陷的同时，能够很好地保留原始图像的结构和细节。

Qwen2.5多规模模型：提供从 0.5B 到 72B 参数规模的模型，满足不同需求。强大的语言理解和生成能力：在文本生成、对话、问答等任务上表现出色。开源友好：模型和代码在上公开，方便开发者下载和使用。通过本教程，您应该已经了解了如何下载、部署和训练 Qwen2.5 模型。无论是直接调用 API，还是通过前端界面与模型交互，都可以帮助您更好地利用 Qwen2.5 的强大功能。如果您需要对模型进行微调，LLaMA-Factory 提供了便捷的工具链，助您快速实现自定义需求。

DreamClear是由发布的一个开源项目，旨在通过高容量的模型和隐私安全的数据集构建方法，实现真实世界图像的高效修复。该项目在 NeurIPS 2024 上发表，论文题为《DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation》。

NotebookLM 是 Google DeepMind 开发的一款创新工具，旨在将用户提供的文档内容转化为生动的对话形式。通过先进的音频生成技术，NotebookLM 不仅能够生成自然流畅的语音，还能模拟多位说话人的互动，使复杂的信息更加易于理解和消化。NotebookLM 通过先进的音频生成技术，实现了高质量、多说话人的自然对话生成，极大地提升了 AI 的交互性和实用性。

当前排行榜第一！

在当今人工智能生成图片领域，模型的质量和表现成为了用户关注的重点。Artificial Analysis提供了一个，对不同的AI图像生成模型进行了基于Image Arena众包偏好的质量评估。这一平台不仅展示了多种模型的排名，还为用户提供了参与排名评选的机会，通过提交作品来查看自己喜欢的模型在排行榜中的表现。

完整教程：https://qq742971636.blog.csdn.net/article/details/143229120。目的是为了加速，SDXL模型，Lora模型，分别加载比较耗时，合并到一起就好了。合并SDXL的模型和Lora权重，合并为一个文件。

有几种方法可以将此值添加到您的有效负载中，但我这样做了。我将使用“sd_model_checkpoint”和“CLIP_stop_at_last_layers”进行演示。我的疑问是如何用tensorRT的设置，这是需要使用override_settings的。所有参数其实是和自己安装的东西有关，在接口里可以直接看那些参数可以用。这个接口就是 GET /sdapi/v1/options。参数就可以访问接口了，同时/docs就是接口文档。执行webui，执行的时候带有。

安装 AutoGPTQ：https://www.dong-blog.fun/post/1737#1.%20%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87。

介绍Open WebUI + Ollama 的使用: https://www.dong-blog.fun/post/1796。介绍 Ollama 的使用： https://www.dong-blog.fun/post/1797。这意味着你可以用vllm模型部署openai的api接口，然后在Open WebUI里面使用。介绍vllm 的使用：https://www.dong-blog.fun/post/1781。本篇博客玩个花的，Open WebUI 本身可以兼容openai 的api， 那来尝试一下。

Ollama 是什么：随着人工智能的发展，越来越多的开发者希望在本地运行和定制自己的语言模型。Ollama是一个轻量级且可扩展的框架，旨在帮助你在本地机器上构建和运行语言模型。本文将详细介绍如何使用 Ollama，从模型的导入、定制到命令行的使用，助你快速上手。Ollama 提供了一个简单的 API，用于创建、运行和管理模型，并提供了一系列预构建的模型库，方便在各种应用中轻松使用。导入和定制不同格式的模型（如 GGUF、PyTorch、Safetensors）。