线上部署chat-6b

最新推荐文章于 2024-09-09 22:12:22 发布

7wAI

最新推荐文章于 2024-09-09 22:12:22 发布

阅读量73

点赞数

分类专栏： AI 人工智能导论文章标签： linux 运维服务器 chatgpt

本文链接：https://blog.csdn.net/weixin_59033546/article/details/131831572

版权

该文详细介绍了如何配置Linux基础环境，包括安装Anaconda、创建Python环境，以及下载和管理GitLFS以获取代码。接着，它指导读者从HuggingFace平台克隆ChatGLM-6B模型，并安装CUDA工具包。最后，文章讲述了如何安装项目依赖并启动基于Streamlit的Web应用。

摘要由CSDN通过智能技术生成

一.配置base环境

1.连接上服务器下载liunx输入：

sudo wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh

2.安装

bash Anaconda3-2023.03-1-Linux-x86_64.sh

剩下的回车输入yes就行了

二.配置python环境

conda create --name chat-glm python=3.10

三.下载git-lfs（管理文件，拉取代码）

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

输入

sudo git clone https://github.com/THUDM/ChatGLM-6B.git

克隆代码

四.模型下载

进入chat目录下创建models文件夹

cd ChatGML-6B
sudo mkdir models

在国外开源ai模型社区

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

7wAI

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
线上部署chat-6b

2.安装剩下的回车输入yes就行了。
复制链接

扫一扫

专栏目录

本地部署ChatGLM2-6B，chatglm2-6b-int4

11-15

ChatGLM2-6B，全称为“Chat Generative Language Model”，是一款专为对话生成设计的大型语言模型。它的核心是使用60亿参数（即6B）的规模，这使得它具有强大的语言理解和生成能力，能适应各种复杂的对话场景。在...

docker部署chat-web，实现自己的ChatGPT

最新发布

冷冻工厂

09-09

683

但是，我们可以使用 -n 选项，它允许我们限制要在屏幕上打印的行数，如图所示。tail 命令是一个命令行工具，它与 head 命令类似，用于读取文件内容，并将一个或多个文件的最后 10 行显示在屏幕上。在前面的示例中，我们看到该命令在处理多个文件时启用显示标题。在这里，我们可以看到上面的命令显示了 /var/log/secure 文件的最后十行。在这里，我们可以使用加号 (+) 和 -n 选项，这允许我们控制给定文件的起点。在这种情况下，我们可以在命令中使用 -f 选项，这使我们能够实时监视文件的更改。

Linux 下 C/C++ 程序编译的过程

Teminator_的博客

09-08

4249

本文将介绍如何将 C/C++ 语言编写的程序转换成为处理器能够执行的二进制代码的过程，包括四个步骤：预处理（）编译（）汇编（）链接（在此之前，首先来看一下 GCC 工具链。

【Linux】地址空间

Hello World!

09-07

1175

有一天，小明睡觉的时候不小心越过了三八线，于是他按照规定，将三八线向自己移动了 10 cm，他的课桌区域变为了 40 cm长，小红的课桌区域变为了 60 cm长。此时，私生子都向大富翁申请了一笔金额：A 申请了 2 万，B 申请了 10 万，C 申请了 2k，D 申请了 900。不可以，因为此时的 g_val 是父子共用的，如果修改后父进程又拿 g_val 参与运算，就会影响到父进程的运行，破坏了。如果进程直接与内存进行交互，万一发生越界修改数据了，不仅会对此进程造成影响，还可能会导致其他进程的崩溃。

Linux 删除虚拟环境命令

lft_happiness的博客

09-05

395

linux 查看虚拟环境删除虚拟环境

Linux xargs命令

菜鸟记录

09-08

796

⏹Linux xargs命令

Linux中的wc -l 和 ls -l 命令

qq_37397652的博客

09-05

1119

此行表示一个名为的目录，它的权限为drwxr-xr-x（所有者拥有全部权限，同组用户和其他用户仅有读和执行权限）。这个目录的所有者是lindsey，所属组是staff，目录的大小为96字节，最后修改时间是9月5日 11:45。wc -l：统计文件或输入流中的行数。ls -l：以长格式列出目录内容，显示详细的文件和目录信息。

Linux-------基础

weixin_69190490的博客

09-09

306

2、安装 Ubuntu Linux 会自带 unity桌面环境，操作方便。shutdown 9:00 在 9 点关机【1-24小时制】1、拥有完整图形化界面，是面向普通用户对象，比较容易上手。sudo -i 切换到 root （超级管理员）shutdown 【+】分钟在多少分钟之后关机。shutdown -h now 立即关机。halt 关机（需要 root 权限）开放性、安全性、多用户性、网络性。shutdown 一分钟之后关机。su 用户名切换到对应的用户。exit 注销/推出。

算法题汇总

yolo

09-04

1217

算法汇总环形链表 https://leetcode.cn/problems/linked-list-cycle/ 反转链表 https://leetcode.cn/problems/reverse-linked-list/28 环形链表 II https://leetcode.cn/problems/linked-list-cycle-ii/ 快乐数 https://leetcode.cn/problems/happy-number/ 反转链表 II https:/

【Linux】多线程：POSIX库、线程管理、线程ID

2301_76606232的博客

09-05

921

我们知道，不同的操作系统中，实现线程的方式并不一致，这就造成了在Linux系统中使用系统调用编写的多线程程序在其他操作系统中可能并不适用。这是因为Linux中的线程是用户级线程，由POSIX库对其进行管理，所以我们在程序中所打印出来的线程ID实际是库给我们所分配的线程唯一标识。：在内核态中，线程ID和进程ID的管理是由内核直接处理的。我们能够观察到，这两个线程同属于一个进程之中，并且有一个线程（轻量级进程）的ID与进程的ID相同，这就是我们所说的“主线程”，主线程并不需要我们手动创建，

Linux：如何使用 Crontab

Java_1710的博客

09-06

1019

今天想了解一下。嗯，在上，可以看做和定时任务差不多。如果是这样，可以使用crontab，轻松使用Linux。

如何编写Linux PCI设备驱动器之一

IT_Beijing_BIT的博客

09-07

848

PCI总线通过使用比ISA更高的时钟速率来实现更好的性能；它是时钟运行在 25 或 33 MHz，并且最近还部署了 66 MHz 甚至 133 MHz 实施方案。而且，它配备了32位数据总线，并已扩展了64位包含在规范中。PCI总线是一种独立于平台的计算机总线，这是 PCI 的一个特别重要的特性。PC 世界一直由处理器特定的接口标准主导。目前 PCI广泛用于不同的平台，比如，X86、ARM、Alpha、PowerPC，以及其他一些平台。PCI 设备是无跳线的。

【Linux系统学习】5.Linux实用操作下

weixin_69595694的博客

09-09

1126

环境变量PATH这个项目里面记录了系统执行命令的搜索路径。这些搜索路径我们也可以自行添加到PATH中去。测试：在当前HOME目录内创建文件夹，myenv，在文件夹内创建文件mkhaha通过vim编辑器，在mkhaha文件内填入：echo 哈哈哈哈哈完成上述操作后，随意切换工作目录，执行mkhaha命令尝试一下，会发现无法执行修改PATH的值临时修改PATH：export PATH=PATHhomeitheimamyenv，再次执行mkh。

linux系统部署chat-glm-6b-int4

05-23

接下来，你需要编写一个 Python 脚本来部署 Chat-GLM-6B-Int4 模型。你可以使用以下代码作为脚本的基础： ```python import torch from transformers import GPT2Tokenizer, GPT2LMHeadModel # 加载模型和分词器 ...