本地部署一个聊天机器人模型

只会hello world的小白啊

已于 2024-05-16 10:44:53 修改

阅读量1.2k

点赞数 8

分类专栏：大模型文章标签： llama 语言模型

于 2024-05-15 16:17:18 首次发布

本文链接：https://blog.csdn.net/qq_42690647/article/details/138910450

版权

前言

前不久我突发奇想能不能在我的笔记本部署一个模型来聊聊天摸摸鱼呢？于是我就开始了百度
经过我两天的查询和测试我摸出来了两套路子。
注意下面的两种方式都有有Linux 的部署方式

有Linux 的部署方式
有Linux 的部署方式
有Linux 的部署方式

第一套：Ollama 实现部署（比较推荐）

首先这个软件是一个开源的人工智能（AI）和机器学习（ML）工具平台，特别设计用于简化大型语言模型（LLM）的部署和使用流程。
一句话来说用它省事省力

1、下载安装

首先我们需要去官网下载它
下载和安装没什么好说的

2、环境变量

配置环境变量，我们需要在系统的高级设置里面 -> 环境变量 -> 新增环境变量

这里我们需要增加两个环境变量

1、OLLAMA_HOST
- 值：0.0.0.0:11434
2、OLLAMA_MODELS
- 值：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

只会hello world的小白啊

关注关注

8
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用 PyTorch 构建 NLP 聊天机器人

gongdiwudu的专栏

02-01

4565

聊天机器人提供自动对话，可以帮助用户完成任务或寻求信息。随着深度学习的最新进展，聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人，涵盖模型架构、数据准备、训练循环、评估和部署。

[AI]Linux部署ChatTTS

yyq2272的博客

07-10

1551

因还会装多个开源模型会造成版本等冲突，所以使用conda进行环境隔离。执行后生成一个output_audio_0.mp3文件即为成功。安装途中一直按回车或者输入yes即可。输入文字后点击Generate即可。

参与评论您还未登录，请先登录后发表或查看评论

【教程1】创建自己本地的Ai聊天机器人

Ai聊天导师的博客

03-16

7100

十分钟，安装好自己的本地聊天机器人！

在Linux系统安装Ollama两种方法：自动安装和手动安装，并配置自启动服务

最新发布

前沿技术分享，人工智能、大模型技术分享，日常问题记录

03-21

4080

在Linux系统安装Ollama两种方法：自动安装和手动安装，并配置自启动服务

使用Llama 2大语言模型搭建本地自己的聊天机器人(群晖Docker篇)

weixin_43014359的博客

02-29

3778

随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都是基于网络线上的,如果我们本地想自己部署一个自己的大语言模型,该如何操作呢,下面介绍一款可以在自己本地部署运行的大语言模型Llama 2。

想聊天？自己搭建个聊天机器人吧！

weixin_41888295的博客

08-11

822

1、聊天机器人的“前世今生” 在 1964 年至 1966 年间，麻省理工学院人工智能实验室的德裔美国计算机科学家约瑟夫·维森鲍姆（Joseph Weizenbaum）开发了历史上第一个聊天机器人 —— Eliza。 Eliza 的名字源于爱尔兰剧作家萧伯纳的戏剧作品《卖花女》中的角色，剧中出身贫寒的卖花女 Eliza 通过学习与上流社会沟通的方式，变成大使馆舞会上人人艳羡的“匈牙利王家公主”。作为世界上第一个聊天机器人，Eliza 被其作者赋予了充满戏剧性的内涵。尽管在当时已经存在一些基本的数字语言生成

搭建一个聊天机器人

weixin_45886778的博客

11-27

2050

gossip 前几个星期双11的时候，腾讯服务器搞活动，我就入手一台轻量应用服务器，然后买了一个2H4G的，它是真的便宜，我一下买了3年的，然后就打算捣鼓一下它，当然这个聊天机器人就是其中一个，因为之前捣鼓过一次了，比上一次好了许多，有一点轻车熟路的感觉。 Start 目前市面上也有很多大厂做聊天机器人，比如，腾讯，百度，微软等，而且也有一下开源的提供接口，比如青云客，思知。但是我想做一个自己的自己的聊天机器人，对于我这种不太会机器学习的人来说，难度很大，但是偶然一次我看到百度开源的paddlepaddle

提供几个与Replika类似的可以本地部署的开源聊天机器人

weixin_35755640的博客

12-17

1162

您好！以下是几个可以本地部署的开源聊天机器人： Rasa：Rasa是一个开源的自然语言处理框架，可以用来构建自然语言聊天机器人。Rasa提供了丰富的工具来帮助您训练和部署聊天机器人，并且可以和多种不同的通信渠道集成。 Botpress：Botpress是一个开源的聊天机器人平台，提供了一系列的工具来帮助您快速构建和部署聊天机器人。它具有强大的自然语言处理功能，并且可以与多种通信渠道集成。 C...

localGPT本地部署的智能文档机器人

01-14

localGPT是一款允许用户在本地设备上使用GPT模型与文档聊天，而无需将数据发送到云端的本地模型部署的聊天机器人。用户可以完全控制自己的数据，无需暴露数据在云上。 localGPT不依赖于互联网连接，所有处理都在用户...

大模型增量训练--基于transformer制作一个大模型聊天机器人

DAMOXINGHAITAI的博客

09-29

1662

（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

本地部署开源大模型的完整教程LangChain + Streamlit+ Llama

09-23

本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA ...本教程提供了一个完整的指南，指导开发人员如何在本地部署开源的大型语言模型，并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。

超简单，不用GPU，3步教你轻松在笔记本上部署聊天大模型 LLaMA

AI与算法都要通俗易懂

01-17

3500

后来有人为了在传统 CPU 电脑上运行大模型，就开发了比较牛的框架，我们今天要用的，就是其中的一个明星产品：llama.cpp。大模型我们都不陌生了，但是以 chatGPT 为代表的大模型是闭源的，他们的源代码不开放，我们只能用他们的商业化产品。从上面的命令中我们可以看出，下载的是 llama-2-7b 模型，也就是有着 70 亿参数的那个模型。但是参数量大，就会对计算机的算力有更高的要求，因此很多大模型，基本部署都是要求在 GPU 上进行。

本地搭建WaitChat智能AI聊天系统

qq_18847065的博客

10-22

441

在当今信息化时代，人们对于高效便捷的信息交流方式的需求日益增强。顺应这一趋势，WaitChat 应运而生，它是一款基于 ThinkPHP8 框架开发的 AI 问答系统，为用户提供了智能而互动的聊天体验。通过对接国内外知名主流大语言模型接口及中转平台，如 ChatGLM、讯飞星火、文心一言、GPT3.5、GPT4.0、API2D、知数云等，WaitChat 不仅能够满足用户的日常交流需求，还能为用户提供更加丰富多样的功能体验。

打造专属AI聊天机器人：ServBay、Python与ChromaDB本地部署全攻略

Sammyyyyy的博客

03-14

993

想要打造专属AI聊天机器人，看这篇就够了，一步步教给你

如何在本地搭建集成大语言模型Llama 2的聊天机器人并实现无公网IP远程访问

2301_79855962的博客

04-03

1672

上面我们运行设置chatbot ollama 的对外端口是3001(具体以自己设置的为准),下面我们在浏览器访问群晖3001端口,既可看到我们的web交互界面,同时,上面显示了使用的llama2模型,下面输入文字即可对话,这样一个本地部署的机器人就完成了,对话的响应速度取决于设备的配置,尽量使用高配置的服务器运行部署哦,本地完成后,我们接下来设置远程也可以访问,下面安装cpolar工具,实现无公网IP也可以远程访问我们的聊天机器人界面!它的主要功能是简化在Docker容器内部署和管理LLM的过程。

用深度学习网络搭建一个聊天机器人(二)

jiangjingxuan的博客

01-25

5895

谁/为什么关注基于检索模型的机器人？在本系列的上一篇博客中说到，基于检索模型的机器人有一个的回答集（repository），包含了预先定义的若干回答。与该模型相对应的产生式模型则是在不借助任何回答集的情况下产生一个全新的回答。让我们更正式地定义基于检索模型的机器人：模型的输入为上下文（context）$c$和回答（response）$r$。模型会根据上下文为回答评分，评分最高的回答将被选择

部署一个私人定制化GPT聊天机器人（纯干货手把手教学）

weixin_59164654的博客

03-22

3748

个人微信接入GPT机器人、实现自动回复。支持插件等等功能

离线AI聊天清华大模型(ChatGLM3)本地搭建指南

2401_84204413的博客

06-03

1441

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

如何基于本地语音识别，搭建一款智能聊天机器人？

CSDN资讯

03-12

3350

作者 |李秋键责编 | 屠敏出品 | CSDN（ID：CSDNnews）近几年来，人工智能发展火热，尤其是语音识别方面的落实项目更是普遍存在于我们的生...

如何在本地搭建一个聊天机器人

05-19

搭建一个聊天机器人需要以下步骤： 1. 选择合适的机器学习框架或平台，如TensorFlow、PyTorch、Keras等。 2. 收集和准备对话数据集，可以使用公开的数据集，也可以自己创建数据集。 3. 构建模型，可以使用Seq2Seq模型、Transformer模型等。 4. 训练模型，使用数据集训练模型，并根据模型的性能反复调整。 5. 部署模型，将模型部署到服务器上，可以使用Flask、Django等web框架来搭建API服务。 6. 开发聊天机器人应用程序，可以使用Python或其他编程语言来开发聊天机器人应用程序。 7. 测试和优化，对聊天机器人进行测试和优化，不断提升其性能和用户体验。以上是搭建聊天机器人的基本步骤，具体的实现方式和细节还需要根据具体情况进行调整。