- 博客(11)
- 收藏
- 关注
RSS订阅原创 在 Linux 本地玩转大模型(二)： QwenVL Lora微调与部署的高效实践
视觉理解能力：Qwen2.5-VL不仅擅长识别常见的物体如花、鸟、鱼和昆虫，而且在分析图像中的文本、图表、图标、图形和布局方面也非常出色。自主代理能力：Qwen2.5-VL可以直接作为视觉代理，能够进行推理并动态指导工具的使用，具备计算机和手机操作的能力。理解和捕捉长视频中的事件：Qwen2.5-VL可以理解超过1小时的视频，并且这次新增了通过定位相关视频片段来捕捉事件的能力。
2025-05-21 14:31:32
867
原创 在 Linux 本地玩转大模型：用 VLLM 部署 Qwen3 的高效实践
本文详细介绍了从环境搭建到服务启动的部署流程，包括硬件要求、模型选择、启动命令及功能验证，帮助开发者快速实现本地 Qwen3 模型的高效推理。
2025-05-15 14:54:37
1446
原创 浅析大模型的“比特量化“：如何让AI在消费级GPU上跑起来？
在人工智能领域，大模型的发展可谓日新月异。然而，随着模型参数规模的不断扩大，如80亿参数的Qwen3-8B模型，其对硬件资源的需求也水涨船高。直接加载FP16版本的Qwen3-8B模型需要约16GB显存，这使得许多拥有消费级GPU（如RTX 3060/4090）的用户望而却步。不过，比特量化技术的出现，为这一问题提供了有效的解决方案。今天，我们就来聊聊大模型的"比特量化"，看看它是如何让AI在消费级GPU上跑起来的。
2025-05-07 16:51:25
524
翻译 RAGFlow官方源码部署指南中文版
版本：v0.17.2本指南将介绍如何从源代码搭建RAGFlow服务。按照本指南操作，你将能够利用源代码进行调试。
2025-03-27 15:16:27
1250
6
原创 Hugging Face CLI：你的模型下载神器
Hugging Face CLI 是 Hugging Face 提供的一个命令行工具，它就像一个超级助手，帮你轻松管理 Hugging Face Hub 上的模型。无论是下载、上传还是管理模型，它都能帮你搞定。再也不用为模型的下载和管理烦恼了！这个命令的作用是从 Hugging Face Hub 下载模型，并将其保存到本地的bloom-560m文件夹中。如果下载过程中断，可以从中断的地方继续下载。Hugging Face CLI 是一个非常实用的工具，它让模型的下载和管理变得简单而高效。
2025-03-03 11:12:29
595
2
原创 从一个笑话中学LangChain的Structured output
希望这篇博客能帮助你更好地理解LangChain的Structured Output功能，并在你的项目中加以应用。
2025-02-14 16:18:35
562
原创 Langchain + 通义千问 牛刀小试
在 Langchain 中，工具是实现特定功能的核心。天气工具：调用高德地图 API 获取指定城市的天气信息。人口工具：我通过随机数生成器模拟返回城市的人口数量。如果要使用API来获得精准的城市人数的话更佳，代码编写可参照天气工具(根据相应API文档编写POST/GET请求并处理返回值）通过本例，我们展示了如何使用 Langchain 和通义千问模型来构建一个具备多工具集成的智能代理。该代理能够基于用户问题自动调用相关工具获取信息，并生成合理的答案。
2025-02-14 15:33:51
2365
原创 学习记录：Java的素数筛算法
创建一个数组primes，用于存储找到的素数，（数组的大小为n，但实际上我们可能并不需要存储所有的n个数，因为素数在总数中只占一小部分，但为了简化代码，我们先这样初始化 ）这个算法的关键在于利用已经找到的素数来高效地筛去合数，避免了不必要的重复计算，从而提高了算法的效率。对于每个整数i，我们检查它是否是素数，并用它来筛去合数。），因为一开始我们假设所有数都是素数，然后通过后续的筛选过程将非素数标记为。是一个嵌套的循环，用于筛去合数。通过这个双循环，可以有效地找到小于等于n的所有素数，并将它们存储在。
2024-03-21 20:43:32
423
1
空空如也
数据结构icoding答案难点
2023-05-02
关于这个答案的问题，如何解决？(语言-c语言)
2023-04-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人