chatgpt 谷歌开源免费语言模型、本地部署、离线使用

最新推荐文章于 2024-05-26 23:18:51 发布
最新推荐文章于 2024-05-26 23:18:51 发布
阅读量790 收藏 14
点赞数 15
分类专栏： gpt 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42576443/article/details/136735125
版权

第一步：下载安装模型

下载地址: https://ollama.com/download

第二步：安装完成 打开cmd命令行 

根据自己电脑配置选择对应的安装命令 （我这张图是安装好的）


有独立显卡并且显存大于等于8G的模型可以选择 7b模型安装命令: ollamarun gemma:7b
没有独立显卡，或者显存小于6G的 模型选择 2B模型安装命令: ollama run gemma:2b

输入命令自动安装 

第三步：使用

安装完成以后再次打开就用安装命令就行

这个模型完全离线的，断网也是可以使用的，所以问题大胆随心的问吧

白o小o白
关注
  • 15
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
本地构建自己的chatgpt已成为可能，国外团队从GPT3.5提取大规模数据完成本地机器人训练，并开源项目源码和模型支持普通在笔记上运行chatgpt
iCloudEnd的博客
04-03 6708
国外团队从GPT3.5提取大规模数据完成本地机器人训练，并开源项目源码和模型支持,普通在笔记上运行chatgpt。下面是他们分享的：收集到的数据、数据管理程序、训练代码和最终模型，以促进开放研究和可重复性。
Vicuna- 一个类 ChatGPT开源 模型
小金的CSDN博客
04-22 3076
Meta 开源 LLaMA（大羊驼）系列模型为起点，研究人员逐渐研发出基于LLaMA的Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型并开源。google提出了一个新的模型：Vicuna（小羊驼）。该模型基于LLaMA，参数量13B。Vicuna-13B 通过微调 LLaMA 实现了高性能的对话生成。
本地离线部署Ai大模型的三种方案，含安装教程！
最新发布
专注于分享人工智能精品资源：Ai副业项目、Ai效率神器！
05-26 3378
在GPU下运行：docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama。：虽然初期的硬件投资较高，但长期使用本地部署可能比持续支付云服务的使用费用更为经济，特别是在处理大量数据或频繁使用时。本地处理可以避免这些问题，提高处理效率。
Pandora-ChatGPT（离线安装教程）（附安装包）
m0_48096446的博客
06-06 3604
这将会安装Pandora-ChatGPT的相应依赖和文件。请确保您的系统已经安装了Python 3.7.0或更高版本。
简单两步实现离线部署ChatGPT，ChatGPT平替版，无需GPU离线搭建ChatGPT
DoNot996的博客
10-06 3492
ChatGPT平替版：GPT4ALL是一个多平台通用的本地聊天机器人软件，其支持下载预训练模型到本地来实现离线对话，也支持导入ChatGPT-3.5或ChatGPT-4的API Key到工具实现ChatGPT应用的桌面化。本次主要介绍如何离线部署模型。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）
tantu666的博客
04-24 1万+
Vicuna号称"小羊驼"，Vicuna是基于ShareGPT的7万条对话数据对LLaMA微调的模型，13b模型的效果据说可达到ChatGPT3.5 92%的效果，部分问答的评分甚至超过了ChatGPT3.5。里面vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin和vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。下载哪个都可以，我用的是vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。
13 个开源 CHATGPT 模型：完整指南
weixin_40777649的博客
11-27 193
添加链接描述
部署像ChatGPT这样的大语言模型需要花多少钱
04-28
以下我们将详细探讨部署ChatGPT类似的大语言模型可能需要花费的金钱。 首先，**硬件成本**是部署大语言模型的一大开支。由于这类模型通常具有海量参数，训练和运行过程中需要强大的计算资源。例如，ChatGPT背后的...
ChatGPT开源代码，可以快速实现本地部署
04-18
最近有个超级好玩的Github开源代码分享给大家，可以实现直接在本地电脑上运行GPT，且对本地机器性能没有太高的要求。改开源项目可以实现给机器人对话，获得想要的内容，亲测好用！ChatGPT是一个自然语言处理技术，它...
部署像ChatGPT这样的大语言模型，到底要花多少钱？
04-27
太长不看版：对于日均请求在 1000 次左右的低频使用场景，ChatGPT 的实现成本低于部署在 AWS 上的开源大模型。但面对每天数以百万计的请求，在 AWS 上部署开源模型则成本更低。（结论适用于 2023 年 4 月 24 日本文...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
然后，我们使用GGML格式的本地模型，直接从Hugging Face Models存储库下载bin文件，并将文件移动到根目录下的models目录中。 七、使用LLaMA-CPP-Python 为了使用LLaMA模型，我们需要使用 llama-cpp-python，这是...
ChatGPT原理介绍：从语言模型走近ChatGPT
04-17
ChatGPT是OpenAI开发的一款基于自然语言处理的对话系统，它的核心在于使用深度学习的预训练语言模型，如GPT系列，来生成连续、自然的对话响应。这个系统利用了Transformer架构，这是一种由Google在2017年提出的神经...
ChatGPT中文LLM相关的开源大模型资源汇总
weixin_40280870的博客
07-17 1858
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本文旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料分享给大家！
对标ChatGPT的开源中文方案
03-26 1万+
下面我会介绍一些对标ChatGPT的中文开源方案，代码地址也列在每个项目的介绍最上面，希望这些方案能够对大家有所帮助！
一文汇总开源大语言模型，人人都可以拥有自己的ChatGPT
perfume
04-16 3284
OpenAI发布的ChatGPT火爆全球以来，全球互联网大厂陆续跟进，纷纷宣布了自家的Chat产品，如Google的Bard，百度的文心一言，阿里的通义千问等等。这些Chat产品背后都是依赖的大语言模型(Large Language Model)。直接使用商业化产品，前提是商业化产品支持对模型做fine-tune(微调)。比如OpenAI就支持对它的基础模型做fine-tune来实现个性化的模型。使用开源的大语言模型，对开源模型做fine-tune来实现垂直领域的Chat产品。
消费级显卡上就能部署的Chat模型已经开源，每台电脑都可以装一个“ChatGPT”了
马沛专栏
03-15 5079
经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。：也是基于人工智能大模型驱动的，快速编写代码的代码生成工具。
ChatGPT开源系列
qq_38732601的博客
04-07 2804
最难的是工程化（技术方案产品落地的的能力），怎么能更好的把各种技术栈堆叠在一起（可能一个功能背后是多个功能/技术栈的结合），且能够无缝连接（把技术点用产品的交互来实现，让用户用最少的理解/使用成本，完成复杂度较高的任务），最后实现一个很好的效果。毕竟从 GPT1 到 GPT-4，模型各类细节越来越闭源和黑盒，大模型战场的竞争因素决定了 GPT-4 类的第一梯度模型可能会越来越封闭，成为技术门槛。
细数和Chatgpt相似的开源模型
aa642531的博客
04-07 6958
还记得我们上面说到的chatgpt3训练要经过预训练、强化学习和反馈学习三个步骤吧，LLaMA只有预训练的过程，而Alpaca相当于是用了LLaMA预训练完的模型，剩下需要人工的训练都通过gpt3.5来完成，所以Alpaca的表现看起来就和gpt3一样。Vicuna目前也是成本很低的一种模型，很适合个人开发和训练。所以chatgpt也是经过人工不断优化和调整出来的，不是一开始就这么强大，从这也能看到，为什么chatgpt的门槛这么高，不仅是算力要求高，后期的反馈和激励训练是需要人工花很多时间的。
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
热门推荐
Dec1steee的博客
03-30 1万+
ChatGLM-6B 是一个由清华大学的团队开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。本文旨在介绍如何在电脑部署属于自己的人工智能/可离线/可发布。这是一个有趣而有意义的项目，可以让你体验到人工智能的魅力，也可以让你拥有一个自己定制的智能助手。GPT 模型目前只有 GPT-2 的小规模版本（1.5 亿参数）是开源的，其它版本都是闭源的，只能通过 OpenAI 的 API 来访问。
chatgpt本地离线部署
07-27
ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于General Language Model架构，具有62亿参数。用户可以通过模型量化技术，在消费级的显卡上进行本地部署，最低只需6GB显存。ChatGLM-6B使用了类似于ChatGPT的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，ChatGLM-6B已经能生成相当符合人类偏好的回答。\[2\] 如果想要进行ChatGLM-6B的本地部署，可以通过CPU+内存的方式来实现。首先，可以下载并运行CPU-Z，查看电脑当前的指令集是否包含AVX512。虽然非AVX512指令也可以进行部署，但可能会导致运行速度非常慢。然后，根据具体的电脑配置和操作系统，按照相应的部署文档进行操作。例如，在Windows系统上，可以参考GitHub上提供的Windows部署文档进行操作。\[1\] #### 引用[.reference_title] - *1* *2* [【ChatGPT本地部署-- ChatGLM】](https://blog.csdn.net/qq_25751035/article/details/130706655)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）](https://blog.csdn.net/tantu666/article/details/130338393)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白o小o白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值