分享
超级会员免费看
开源技术探险家
代码玩得6，Bug见我就溜！
展开
-
开源模型应用落地-解锁大语言模型的无限潜能
1、您是否也在迫不及待地期待在AI时代中展示自己的能力？2、您是否一直在研究如何使用开源模型？3、您是否一直在寻找将AI与业务结合的方向？4、您是否一直在寻找模型推理加速的方法？5、您是否一直在努力整合来自互联网上零散的资料？原创 2024-01-11 14:23:55 · 14081 阅读 · 39 评论
-
开源模型应用落地-食用指南-以最小成本博最大收获
正确学习“开源大语言模型-实际应用落地”专栏，以最小成本博最大收获原创 2024-05-25 00:24:37 · 3741 阅读 · 5 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）
qwen-7b-chat集成vllm，流式输出原创 2024-01-10 14:07:27 · 14865 阅读 · 11 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（二）
gunicorn+flask构建AI服务原创 2024-01-10 15:36:49 · 2391 阅读 · 8 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（三）
supervisor提升服务的稳定性原创 2024-01-11 10:00:00 · 2836 阅读 · 2 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（四）
鉴权和限流提升AI服务的安全性和稳定性原创 2024-01-11 13:24:50 · 1325 阅读 · 1 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（五）
定时任务处理隐藏盲点原创 2024-01-12 09:45:00 · 811 阅读 · 5 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（六）
使用spacy改变模型自我认知原创 2024-01-13 09:30:00 · 2251 阅读 · 3 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（七）
AI服务性能优化原创 2024-01-14 09:30:00 · 1410 阅读 · 2 评论 -
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（八）
qwen1.5-7b-chat集成vllm，流式输出原创 2024-03-01 12:21:36 · 2133 阅读 · 3 评论 -
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（九）
qwen1.5-7b-chat集成vllm，构建与OpenAI-API兼容的API服务原创 2024-03-04 09:30:00 · 1561 阅读 · 4 评论 -
开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势（十）
Qwen2-7B-Instruct集成vllm，流式输出原创 2024-06-11 13:37:26 · 1810 阅读 · 1 评论 -
开源模型应用落地-qwen1.5-7b-chat与sglang实现推理加速的正确姿势（一）
qwen1.5-7b-chat集成sglang，流式输出，全网唯一，绝无保留原创 2024-04-08 11:42:17 · 3451 阅读 · 8 评论 -
开源模型应用落地-qwen1.5-7b-chat与sglang实现推理加速的正确姿势（二）
优化sglang参数，让它跑得更快更顺畅原创 2024-04-09 08:30:00 · 5585 阅读 · 3 评论 -
开源模型应用落地-Gradio正确集成Fastapi-助力模型交互-实践篇（二）
Gradio与Fastapi正确集成，qwen1.5-7b-chat模型实践，同时提供界面交互和接口服务两种能力原创 2024-05-22 17:43:41 · 7170 阅读 · 2 评论 -
开源模型应用落地-业务整合篇-多种方式调用AI服务（一）
将模型运行起来只是建设高楼的第一步，实现我们最终目标的关键在于与业务整合，提供完整可交付的功能。接下来，我将逐步由浅入深地指导您将项目落地，确保每个环节都得到妥善处理。原创 2024-01-16 15:01:01 · 949 阅读 · 4 评论 -
开源模型应用落地-业务整合篇-构建WebSocket服务（二）
将模型运行起来只是建设高楼的第一步，实现我们最终目标的关键在于与业务整合，提供完整可交付的功能。接下来，我将逐步由浅入深地指导您将项目落地，确保每个环节都得到妥善处理。原创 2024-01-18 09:30:00 · 1491 阅读 · 3 评论 -
开源模型应用落地-业务整合篇-Springboot集成Netty（三）
将模型运行起来只是建设高楼的第一步，实现我们最终目标的关键在于与业务整合，提供完整可交付的功能。接下来，我将逐步由浅入深地指导您将项目落地，确保每个环节都得到妥善处理。原创 2024-01-22 16:26:06 · 1814 阅读 · 5 评论 -
开源模型应用落地-业务整合篇-构建websocket校验机制（四）
将模型运行起来只是建设高楼的第一步，实现我们最终目标的关键在于与业务整合，提供完整可交付的功能。接下来，我将逐步由浅入深地指导您将项目落地，确保每个环节都得到妥善处理。原创 2024-01-23 16:23:53 · 934 阅读 · 3 评论 -
开源模型应用落地-业务整合篇-构建websocket心跳机制（五）
将模型运行起来只是建设高楼的第一步，实现我们最终目标的关键在于与业务整合，提供完整可交付的功能。接下来，我将逐步由浅入深地指导您将项目落地，确保每个环节都得到妥善处理。原创 2024-01-25 09:30:00 · 1959 阅读 · 1 评论 -
开源模型应用落地-业务优化篇（一）
在业务整合之后，我们将把注意力转向非功能性需求。接下来，我将逐步向您介绍如何发现系统的性能瓶颈，并通过技术优化来提高系统的各项性能指标。原创 2024-01-26 11:17:59 · 905 阅读 · 3 评论 -
开源模型应用落地-业务优化篇（二）
在业务整合之后，我们将把注意力转向非功能性需求。接下来，我将逐步向您介绍如何发现系统的性能瓶颈，并通过技术优化来提高系统的各项性能指标。原创 2024-01-31 15:56:43 · 787 阅读 · 2 评论 -
开源模型应用落地-业务优化篇（三）
在业务整合之后，我们将把注意力转向非功能性需求。接下来，我将逐步向您介绍如何发现系统的性能瓶颈，并通过技术优化来提高系统的各项性能指标。原创 2024-02-01 12:35:10 · 846 阅读 · 4 评论 -
开源模型应用落地-业务优化篇（四）
通过多种技术整合，为降本增效赋能，让公司对你眼前一亮。原创 2024-02-03 18:35:56 · 858 阅读 · 4 评论 -
开源模型应用落地-业务优化篇（五）
通过多种技术整合，为降本增效赋能，让公司对你眼前一亮。本篇开始进行关键词提取及Redis加速。原创 2024-02-05 15:44:11 · 1262 阅读 · 4 评论 -
开源模型应用落地-业务优化篇（六）
通过多种技术整合，为降本增效赋能，让公司对你眼前一亮。本篇学习向量Milvus数据库的实际使用，并学习如何对数据进行预处理。原创 2024-02-21 14:51:14 · 969 阅读 · 4 评论 -
开源模型应用落地-业务优化篇（七）
通过多种技术整合，为降本增效赋能，让公司对你眼前一亮。本篇学习RocketMQ的实际使用。原创 2024-02-27 17:49:19 · 11164 阅读 · 4 评论 -
开源模型应用落地-业务优化篇（八）
每个知识点可能都理解，但是能整合一起并赋能在实际项目中，还是有很多困难。通过多种技术整合，为降本增效赋能，让公司对你眼前一亮。本篇学习Redis+Milvus+定时任务整成。原创 2024-03-11 14:40:21 · 771 阅读 · 6 评论 -
开源模型应用落地-安全合规篇-用户输入合规性检测（一）
通过对用户输入的内容进行合法性检测，确保项目安全合规。原创 2024-02-23 14:52:05 · 1066 阅读 · 7 评论 -
开源模型应用落地-安全合规篇-用户输入合规性检测（二）
通过对用户输入的内容进行合法性检测，确保项目安全合规。原创 2024-03-12 14:58:45 · 1429 阅读 · 4 评论 -
开源模型应用落地-安全合规篇-模型输出合规性检测（三）
使用腾讯云文本内容安全服务，对AI生成的输出进行合规性校验，确保内容的质量和可信度原创 2024-03-19 09:30:00 · 1916 阅读 · 6 评论 -
开源模型应用落地-qwen模型小试-入门篇（一）
在windows环境下，使用transformer调用Qwen-1_8B-Chat原创 2024-01-12 15:57:03 · 1782 阅读 · 5 评论 -
开源模型应用落地-qwen模型小试-入门篇（二）
在windows环境下，使用transformer设置模型参数/System Prompt/历史对话原创 2024-01-15 15:17:12 · 1541 阅读 · 4 评论 -
开源模型应用落地-qwen模型小试-入门篇（三）
在linux环境下，基于GPU，使用transformer调用Qwen-1_8B-Chat原创 2024-01-17 09:30:00 · 1259 阅读 · 3 评论 -
开源模型应用落地-qwen模型小试-入门篇（四）
使用gradio，构建Qwen-1_8B-Chat测试界面原创 2024-01-19 09:30:00 · 891 阅读 · 2 评论 -
开源模型应用落地-qwen模型小试-入门篇（五）
使用modelscope api调用Qwen-1_8B-Chat模型，实现非流式/流式输出原创 2024-01-20 09:30:00 · 1015 阅读 · 1 评论 -
开源模型应用落地-qwen模型小试-调用qwen1.5新模型-进阶篇（六）
Qwen1.5系列模型的新特性及使用方式原创 2024-02-26 14:22:33 · 1535 阅读 · 2 评论 -
开源模型应用落地-qwen模型小试-调用Lora模型-进阶篇（七）
调用微调后的qwen-7b-chat模型原创 2024-03-14 14:45:47 · 757 阅读 · 5 评论 -
开源模型应用落地-qwen模型小试-合并Lora模型-进阶篇（八）
qwen-7b-chat基座模型与微调后的lora模型进行合并原创 2024-03-15 14:26:44 · 949 阅读 · 8 评论 -
开源模型应用落地-qwen模型小试-Zero/One/Few Shot-进阶篇（九）
理解何为Zero-Shot/One-Shot/Few-Shot，以及如何正确使用原创 2024-03-20 12:21:59 · 1110 阅读 · 6 评论