- 博客(212)
- 收藏
- 关注
RSS订阅原创 多模态模型
多模态大模型是指能够处理文本、图像、音频等多种数据模式的AI系统。这类模型通过跨模态理解与生成，实现更智能的人机交互。文章系统梳理了多模态模型的发展脉络，包括关键技术（如跨模态对齐、联合表征学习），典型架构（如CLIP、DALL·E），以及应用场景（智能客服、内容生成等）。随着多模态预训练技术的突破，这类模型正成为AI领域的重要方向，但仍面临模态对齐、计算成本等挑战。
2025-05-27 09:11:39
254
原创 Point-wise vs Pair-wise vs List-wise 简述
当然，以下是一个的数据样例，通常用于训练“LLM作为裁判”（LLM-as-a-Judge）模型，在这个设置中，每条数据表示一个候选项与一个问题的对应关系，并附有一个独立的，用于衡量该候选项的质量。
2025-05-26 21:02:03
206
原创 裁判模型的定义与训练
裁判模型是一种用来评估其他AI模型输出质量的模型，扮演“评审员”角色。主要应用于模型比较、强化学习辅助和自动打分排序等场景。构建方式包括微调大语言模型、对齐人类偏好训练或直接使用提示引导。虽然高效，但存在偏见风险、不一致性和主观性强等挑战。开源工具如MT-Bench、LMSYS Judge等提供了现成的评估框架。裁判模型为AI系统优化提供了自动化评估方案。
2025-05-26 20:40:12
344
原创 linux 安装open webui
（Ubuntu、Debian、CentOS 等）上安装。如果遇到问题，可以告诉我具体的错误信息，我帮你解决！如果你想用 Open WebUI 调用。容器正在运行，表示安装成功。并指定一个可用的模型，例如。
2025-03-27 13:40:37
1390
原创 MacOS 安装open webui
它是一个独立的 Web UI 应用，通常通过。如果你只是想使用 Open WebUI 连接。确保你的 macOS 上安装了。在运行，则安装成功。
2025-03-27 13:04:17
1089
原创 rerank
Listwise：优化整个文档列表的排序质量（如LambdaMART）Pairwise：学习文档对的相对顺序（如RankNet）Pointwise：预测单个文档的相关性分数。embdedding模型微调。为什么需要rerank?
2025-03-25 14:34:05
131
原创 vscode连接远程服务器
这样，你就可以在 VS Code 里像本地开发一样操作远程服务器了！你要用它来做什么项目？在 VS Code 中连接远程服务器（Linux 服务器）通常使用。如果是首次连接，会提示输入密码或选择 SSH 密钥进行认证。如果需要经常连接服务器，可以配置。文件（Windows 在。
2025-03-25 10:16:47
3281
原创 vscode连接远程服务器
这样，你就可以在 VS Code 里像本地开发一样操作远程服务器了！你要用它来做什么项目？在 VS Code 中连接远程服务器（Linux 服务器）通常使用。如果是首次连接，会提示输入密码或选择 SSH 密钥进行认证。如果需要经常连接服务器，可以配置。文件（Windows 在。
2025-03-25 09:22:00
656
原创 BLEU 评分的计算方法
BLEU（Bilingual Evaluation Understudy）是一种用于评估机器翻译、文本生成等任务的自动评测指标。它通过计算 n-gram 精确匹配率来衡量候选句子（模型输出）与参考句子（人类标准答案）的相似度。如果候选翻译的长度远短于参考翻译，直接使用 n-gram 精确率可能会导致过高的 BLEU 分数。为了平衡不同 n-gram 的影响，BLEU 计算 1-gram 到 4-gram 的精确度，并取。默认情况下，BLEU 计算 1 到 4-gram 的匹配率，权重均为。
2025-03-05 09:54:02
1116
原创 LoraConfig参数说明
它是一种用于高效微调大语言模型（LLM）的技术，主要通过低秩矩阵分解来减少训练参数。配置的 LoRA 主要作用于。，适用于高效微调大语言模型。决定 LoRA 影响力，中，这些参数用于配置。
2025-03-04 14:15:48
593
原创 模型训练时，英伟达gpu状态解读
（NVIDIA System Management Interface）的输出，显示了。你当前是在训练还是推理？这张图片是 nvidia-smi。
2025-03-03 17:39:27
374
原创 pytorch-gpu版本安装(英伟达gpu驱动安装)
如果没有相关输出，说明驱动未安装，建议安装最新的 NVIDIA 驱动。安装过程有点漫长😮💨😮💨😮💨。如果没有输出，可能你的服务器。
2025-03-03 15:15:27
415
原创 大模型部署方法与工具
大模型部署工具（LLM Deployment Tools）可以帮助你在本地或云端高效部署和管理大语言模型（LLM）。除了之外，还有很多工具提供类似的功能，涵盖本地部署、推理加速、管理、监控等不同方面。
2025-03-03 12:16:58
608
原创 大模型部署方法与工具
大模型部署工具（LLM Deployment Tools）可以帮助你在本地或云端高效部署和管理大语言模型（LLM）。除了之外，还有很多工具提供类似的功能，涵盖本地部署、推理加速、管理、监控等不同方面。
2025-03-03 10:28:16
748
原创 大语言模型训练的目标（不同的结构和阶段）
大语言模型（Large Language Models, LLMs）的训练目标是其能力的核心来源，决定了模型如何从海量数据中学习语言规律和知识。以下是其训练目标的分类和详细说明：预训练是LLMs的基础阶段，通过无监督或自监督任务学习通用语言表示。常见目标包括：在预训练后，模型通过特定任务的数据进一步优化：从单一目标到统一框架从语言建模到多模态学习从静态训练到动态反馈大语言模型的训练目标设计是其能力的核心驱动力：未来趋势将更注重目标统一性（如UL2）、多模态扩展（如GPT-4V），以及低成本对齐方法（如DPO
2025-02-28 11:44:59
876
原创 在linux环境上安装Ollama
参考官网：https://github.com/ollama/ollama/blob/main/docs/linux.md。
2025-02-20 14:46:51
602
原创 deepseek-r1系列模型私有化部署分别需要的最低硬件配置
适用场景：低资源设备部署（如树莓派、旧款笔记本）、实时文本生成（聊天机器人、简单问答）、嵌入式系统或物联网设备。适用场景：本地开发测试（中小型企业）、中等复杂度NLP任务（文本摘要、翻译）、轻量级多轮对话系统。适用场景：企业级复杂任务（合同分析、报告生成）、长文本理解与生成（书籍/论文辅助写作）。适用场景：高精度专业领域任务（医疗/法律咨询）、多模态任务预处理（需结合其他框架）。适用场景：需更高精度的轻量级任务（如代码生成、逻辑推理）。CPU：最低4核（推荐多核处理器）
2025-02-20 00:04:16
1103
原创 arm架构和x86架构的异同
ARM：低功耗、高效能、适用于移动和嵌入式设备。x86：强大性能、支持复杂计算，主要用于高性能桌面计算和服务器。这两种架构各有优缺点，应用场景也不一样。你通常会根据需要的性能和功耗来选择。
2025-02-18 16:54:18
946
原创 我国有哪些芯片使用的是arm架构处理器
我国在ARM架构处理器的研发和应用上取得了显著进展，覆盖了从高性能服务器到移动设备的广泛领域。飞腾、鲲鹏和麒麟等处理器在性能和能效上表现出色，推动了国产芯片的自主化和国际化发展。如果需要更详细的信息，可以参考相关来源。
2025-02-18 16:50:39
2107
原创 为什么国产芯片都使用arm架构而不使用x86?
随着技术的进步，ARM架构在性能上的提升使其能够适用于更广泛的应用场景，包括高性能计算。：ARM架构的处理器性能每一代都有显著提升，加之制程技术的进步，使得基于ARM架构的CPU性能得到了飞速发展，已经能够与x86架构在某些领域竞争。综上所述，国产芯片选择ARM架构是基于技术授权的灵活性、低功耗高效能的特点、市场趋势、性能提升、自主可控需求以及全球合作机会等多方面考虑的结果。：对于国产芯片来说，采用ARM架构可以在一定程度上减少对外部技术的依赖，增强自主可控能力，对于国家安全和信息安全具有重要意义。
2025-02-18 16:36:20
730
原创 deepseek-r1不同参数量的模型本地私有化部署，需要的硬件资源最低配置
根据任务需求和硬件条件，用户可以选择适合的模型版本。对于个人用户或开发者，7B 模型是一个平衡性能和资源消耗的选择；而对于专业用户或企业，32B 或 70B 模型则能提供更强的推理能力。
2025-02-17 14:33:02
1240
原创 ollama和transformers在大模型私有化部署上的区别与联系
Ollama 和 Hugging Face 的 Transformers 都是用于大模型私有化部署的工具，但它们在设计目标、使用场景和技术实现上有显著的区别与联系。
2025-02-17 14:11:05
1454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人