本地部署大模型的几种工具（下-相关比较）

已于 2024-03-26 11:28:23 修改
阅读量877 收藏 2
点赞数 1
分类专栏： AI 文章标签： 大模型 本地部署
于 2024-03-26 11:04:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/to_love_/article/details/137038794
版权
比较项目chatglm.cppvllmOllamalmstudio
功能特点通过C++优化性能，支持多平台运行推理加速简化易用、本地运行大模型简化操作、本地运行大模型
操作系统要求都可以，linux下运行更方便都可以，linux下运行更方便都可以，windows目前还是预览版都可以
硬件要求GPU、CPU均可需要GPUCPU即可，GPU应该也可以GPU、CPU均可
编码支持可自行修改代码可自行修改代码可命令行操作纯界面操作
web运行支持支持支持无        
运行速度快，使用GPU更快快，使用GPU更快命令行运行快一些，webapi方式比较慢速度还可以
docker支持支持支持支持无
易用性比较复杂比较复杂比较简单很简单
Github2.5k16.6k50.4k
适用人群开发开发开发、非技术人员开发、非技术人员
适用场景开发开发验证模型效果演示，测试

龙井茶Sky
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一款比 Ollama 更好用的本地大语言模型 (LLM) 应用平台
easylife206的专栏
05-21 3098
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！近年来，我们见证了大型语言模型（LLM）的飞速发展，它们不仅在自然语言处理（NLP）领域掀起了革命，更即将改变我们的生活方式。但如何在本地运行这些大型语言模型呢？别担心，LM Studio 来帮你！它让我们轻松驾驭这些复杂的模型。坐稳了，接下来我们一起探索 LM Studio 的神奇之处吧！???? 什么是 LM Stud...
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型（文末福利）
瓦罗兰特顶级C位的博客
06-11 2458
近年来，大模型在AI领域崭露头角，成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出，大模型展现出了强大的语言生成、理解和多任务处理能力，预示着智能化转型的新阶段。
你想在本地部署大模型吗？本地部署大模型的三种工具
最新发布
xx_nm98的博客
06-15 1722
人工智能的发展如火如荼，也让越来越多的人了解到人工智能；而对大部分人来说使用的都是第三方提供的客户端，不论是网页版，还是PC端或移动端。那么，我们怎么在本地部署一款大模型呢？下面就来介绍三种工具。
五个简单好用的本地运行大模型的方法
wjianwei666的专栏
04-21 1107
像ChatGPT、Claude.ai和phind这样的聊天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部应用程序处理。在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他方式用于帮助训练未来的模型。一种解决方案是下载一个大型语言模型（LLM）并在自己的机器上运行它。这样一来，外部公司就永远无法访问的数据。这也是尝试一些新专业模型的一个快速选择，如Meta最近宣布的Code Llama系列模型，这些模型经过了编码调整，以及Seamless M4T，旨在实现文本到语音和语言翻译。
本地部署清华大模型 ChatGLM3
热门推荐
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
本地免费GPT4？Llama 2开源大模型，一键部署且无需硬件要求教程
qq_45952183的博客
08-16 5319
无需硬件条件的本地免费NLP模型 Llama2配置教程。Llama 2是扎克伯克最新发布的开源NLP大模型，其有三种类型分别是70亿，130亿，700亿参数量。其性能官网说匹敌GPT4，但是由于开源所以可以说是免费GPT4。然而由于参数量大可能很多小伙伴的硬件无法流畅运行，在这里我给出了无需硬件要求一键部署的Llama 2教程。
只需三步，手把手带你在本地部署运行大模型
AAI666666的博客
03-04 7360
在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。
如何拥有自己的专属GPT-本地部署目前最强大模型llama3
持续学习，持续分享AI
04-26 1349
你是不是苦于没法使用ChatGPT？或者访问了ChatGPT却没法使用GPT4？现在一切问题都可以解决了！4月18日，Meta发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。所以Llama3成了ChatGPT最好的平替。本文教你一步一步在本地部署目前最先进的开源大模型llama3，让你再也不用忍受网络问题，且可以无限制使用大模型。
本地部署运行 Google Gemma 开源大模型
TechAI的博客
03-02 2102
Google 开源了 Gemma 大模型，有 7B 和 2B 两个版本。而且，性能非常强悍，基准测试中 7B 模型的能力已经是开源模型中的领先水平。Gemma 可以轻松的在本地部署运行，如果你的显存在 8G 以上，可以体验 7B 版本，8G 以下的话可以试试 2B 版本。下面是本地部署步骤，以及体验感受。
Office C2R 安装部署工具
11-04
Office C2R（Click-to-Run）安装部署工具是Microsoft Office 2016和2019版本的官方安装程序，它提供了一种便捷的方式来自定义和批量部署Office应用程序。C2R机制使得用户可以直接从Microsoft服务器上下载并运行...
YOLOv8多平台部署工具
12-27
这款模型的多平台部署工具使得开发者能够将YOLOv8模型应用于各种不同的硬件环境，包括但不限于基于PyTorch、ONNX、OpenVINO、CoreML以及TFLite的系统。这些平台涵盖了从高性能服务器到移动设备的各种计算平台。 ...
autoGTP本地部署
04-29
标题中的“autoGTP本地部署”指的是将自动GTP（可能是一种基于Transformer模型的AI系统，如GPT系列）在用户的本地计算机上安装和运行，以便进行高效、便捷的搜索和信息管理。GPT（Generative Pre-trained ...
Node.js-proxy基于electron开发的内网穿透工具
08-10
Node.js-proxy是一个使用Node.js和Electron框架构建的内网穿透工具，旨在帮助用户在内网环境下访问或暴露他们的服务到公网。这个工具允许开发者或者普通用户在没有公网IP或者受到网络限制的情况下，能够使外部设备与...
(二)联邦学习-Fate单机部署
01-20
联邦学习是一种分布式机器学习方法，旨在保护数据隐私，允许数据在不离开本地环境的情况下进行协作学习。FATE（Federated AI Technology Enabler）是由微众银行AI部门发起的开源项目，它为联邦学习提供了安全计算...
Windows（Win10、Win11）本地部署开源大模型保姆级教程
AIGIS的博客
04-19 1万+
最近开源大模型可谓闹的沸沸扬扬，尤其是Microsoft开源的和Meta开源的llama3 70b，评测都已经接近了的水平。鉴于还有很多同学不会在上部署和使用本地模型，因此我们出一期保姆级教程。本文讲述了如何在上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示，希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识，相信不断学习的你一定不会被AI淘汰。这只是开始，后面我们还有很多工作要做，尤其是提示词和智能体。
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
weixin_42878111的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
使用较好的几款免费大模型（持续跟新）
qq_22877119的博客
04-18 599
简单免费大模型介绍
AIGC：阿里开源大模型通义千问部署与实战
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-20 1万+
通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。
llama2本地部署及项目实战
12-11
Llama2是一种基于Hadoop的分布式计算框架，可用于大规模数据处理和分析。本地部署Llama2可以提供更好的性能和灵活性，同时可以充分利用本地计算资源。 本地部署Llama2的步骤如下： 1. 确保已经安装和配置好Hadoop和YARN，因为Llama2需要依赖它们进行资源管理和任务调度。 2. 下载Llama2的安装包，并解压到本地的一个目录。 3. 修改Llama2的配置文件，指定正确的Hadoop和YARN的相关参数，例如ResourceManager的地址和端口号。 4. 启动Llama2的服务，可以通过命令行或者脚本来执行。启动成功后，可以通过Web界面查看Llama2的运行状态和各项指标。 5. 配置和提交任务。在Llama2中，可以使用YARN的API或者命令行工具来配置和提交任务。任务可以是MapReduce作业、Spark作业或者其他的计算任务。 Llama2的项目实战主要包括以下几个方面： 1. 数据处理和分析：可以使用Llama2来处理和分析大规模的数据集。通过配置和提交适当的任务，可以利用集群中的多个节点并行执行任务，从而加速数据处理过程。 2. 机器学习和深度学习：Llama2提供了丰富的机器学习和深度学习算法库，可以在分布式环境下运行。通过配置和提交相应的任务，可以训练和部署复杂的机器学习模型。 3. 实时流处理：Llama2还支持实时流处理，可以通过配置和提交流处理任务来处理实时数据流。借助于Hadoop和YARN的优势，可以实现高吞吐量和低延迟的实时数据处理。 总之，Llama2的本地部署和项目实战可以极大地提升大规模数据处理和分析的效率和灵活性。通过合理配置和提交任务，可以充分利用集群中的计算资源，加速任务执行并获得更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值