开源大模型ChatGLM2-6B 1. 租一台GPU服务器测试下

已于 2023-09-12 18:40:24 修改
阅读量870 收藏 2
点赞数 1
分类专栏： 深度学习 Python 文章标签： 人工智能
于 2023-09-12 18:38:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27158179/article/details/132838277
版权

0. 环境

租用了1台GPU服务器，系统 ubuntu20，GeForce RTX 3090 24G。过程略。本人测试了ai-galaxy的，今天发现网友也有推荐autodl的。

（GPU服务器已经关闭，因此这些信息已经失效）
SSH地址：*
端口：16116

SSH账户：root
密码：*

内网： 3389 ， 外网：16114

VNC地址： *
端口：16115

VNC用户名：root
密码：*

硬件需求，这是ChatGLM-6B的，应该和ChatGLM2-6B相当。
量化等级    最低 GPU 显存
FP16（无量化）    13 GB
INT8    10 GB
INT4    6 GB

1. 测试gpu

nvidia-smi
(base) root@ubuntuserver:~# nvidia-smi
Fri Sep  8 09:58:25 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.54       Driver Version: 510.54       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:00:07.0 Off |                  N/A |
| 38%   42C    P0    62W / 250W |      0MiB / 11264MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
(base) root@ubuntuserver:~#


2. 下载仓库

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

服务器也无法下载，需要浏览器download as zip 通过winscp拷贝上去

3. 升级cuda

查看显卡驱动版本要求：
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

发现cuda 11.8需要 >=450.80.02。已经满足。

执行指令更新cuda

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sh cuda_11.8.0_520.61.05_linux.run


-> 输入 accept
-> 取消勾选 Driver
-> 点击 install

export PATH=$PATH:/usr/local/cuda-11.8/bin
nvcc --version

4. 源码编译方式升级python3

4.1 openssl（Python3.10 requires a OpenSSL 1.1.1 or newer）

wget https://www.openssl.org/source/openssl-1.1.1s.tar.gz
tar -zxf openssl-1.1.1s.tar.gz && \
cd openssl-1.1.1s/ && \
./config -fPIC --prefix=/usr/include/openssl enable-shared && \
make -j8
make install

4.2 获取源码


wget https://www.python.org/ftp/python/3.10.10/Python-3.10.10.tgz
or
wget https://registry.npmmirror.com/-/binary/python/3.10.10/Python-3.10.10.tgz

4.3 安装编译python的依赖

apt update && \
apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

4.4 解压并配置

tar -xf Python-3.10.10.tgz && \
cd Python-3.10.10 && \
./configure --prefix=/usr/local/python310  --with-openssl-rpath=auto  --with-openssl=/usr/include/openssl  OPENSSL_LDFLAGS=-L/usr/include/openssl   OPENSSL_LIBS=-l/usr/include/openssl/ssl OPENSSL_INCLUDES=-I/usr/include/openssl

4.5 编译与安装


make -j8
make install

4.6 建立软链接

ln -s /usr/local/python310/bin/python3.10  /usr/bin/python3.10

5. 再次操作ChatGLM2-6B


5.1 使用 pip 安装依赖

# 首先单独安装cuda版本的torch
python3.10 -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 再安装仓库依赖
python3.10 -m pip install --upgrade pip  -i https://pypi.tuna.tsinghua.edu.cn/simple
python3.10 -m pip install -r requirements.txt

问题：网速慢，加上国内软件源
python3.10 -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

问题：ERROR: Could not find a version that satisfies the requirement streamlit>=1.24.0 
ubuntu20内的python3.9太旧了，不兼容。

验证torch是否带有cuda

import torch
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)

5.2 准备模型


# 这里将下载的模型文件放到了本地的 chatglm-6b 目录下

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git clone https://huggingface.co/THUDM/chatglm2-6b $PWD/chatglm2-6b

还是网速太慢

另外一种办法：

mkdir -p THUDM/ && cd THUDM/
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b


下载ChatGLM2作者上传到清华网盘的模型文件
https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b&mode=list
并覆盖到THUDM/chatglm2-6b

先前以为用wget可以下载，结果下来的文件是一样大的，造成推理失败。
win10 逐一校验文件SHA256，需要和https://huggingface.co/THUDM/chatglm2-6b中Git LFS Details的匹配。

C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00001-of-00007.bin SHA256
SHA256 的 pytorch_model-00001-of-00007.bin 哈希:
cdf1bf57d519abe11043e9121314e76bc0934993e649a9e438a4b0894f4e6ee8
CertUtil: -hashfile 命令成功完成。
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00002-of-00007.bin SHA256
SHA256 的 pytorch_model-00002-of-00007.bin 哈希:
1cd596bd15905248b20b755daf12a02a8fa963da09b59da7fdc896e17bfa518c
CertUtil: -hashfile 命令成功完成。
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00003-of-00007.bin SHA256
812edc55c969d2ef82dcda8c275e379ef689761b13860da8ea7c1f3a475975c8
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00004-of-00007.bin SHA256
555c17fac2d80e38ba332546dc759b6b7e07aee21e5d0d7826375b998e5aada3
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00005-of-00007.bin SHA256
cb85560ccfa77a9e4dd67a838c8d1eeb0071427fd8708e18be9c77224969ef48
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00006-of-00007.bin SHA256
09ebd811227d992350b92b2c3491f677ae1f3c586b38abe95784fd2f7d23d5f2
C:\Users\qjfen\Downloads\chatglm2-6b>certutil -hashfile pytorch_model-00007-of-00007.bin SHA256
316e007bc727f3cbba432d29e1d3e35ac8ef8eb52df4db9f0609d091a43c69cb

这里需要推到服务器中。并在ubuntu下用sha256sum <filename> 校验下文件。

注意如果模型是坏的，会出现第一次推理要大概10分钟、而且提示idn越界什么的错误。

5.3 运行测试


切换回主目录
python3.10
>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True, device='cuda')
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)

5.4 gpu占用

(base) root@ubuntuserver:~/work/ChatGLM2-6B/chatglm2-6b# nvidia-smi
Mon Sep 11 07:12:21 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.54       Driver Version: 510.54       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:00:07.0 Off |                  N/A |
| 30%   41C    P2   159W / 350W |  13151MiB / 24576MiB |     38%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     55025      C   python3.10                      13149MiB |
+-----------------------------------------------------------------------------+
(base) root@ubuntuserver:~/work/ChatGLM2-6B/chatglm2-6b#

6. 测试官方提供的demo


6.1 cli demo


vim cli_demo.py
修改下模型路径为chatglm2-6b即可运行测试 

用户：hello

ChatGLM：Hello! How can I assist you today?

用户：你好

ChatGLM：你好! How can I assist you today?

用户：请问怎么应对嵌入式工程师的中年危机

6.2 web_demo

修改模型路径
vim web_demo.py

把

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()


修改为

tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True).cuda()

 

6.3 web_demo2

python3.10 -m pip install streamlit  -i https://pypi.tuna.tsinghua.edu.cn/simple
python3.10 -m streamlit run web_demo2.py --server.port 3389


内网： 3389 ， 外网：16114
本地浏览器打开：lyg.blockelite.cn:16114

 

6.4 api.py

把
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
修改为
tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True).cuda()

另外，智星云服务器设置了端口映射，把port修改为3389，可以通过外网访问。

运行：
python3.10 api.py

客户端（智星云服务器）：
curl -X POST "http://127.0.0.1:3389" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'
     
客户端2（任意linux系统） 
curl -X POST "http://lyg.blockelite.cn:16114" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'
     

(base) root@ubuntuserver:~/work/ChatGLM2-6B# python3.10 api.py
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████| 7/7 [00:46<00:00,  6.60s/it]
INFO:     Started server process [91663]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:3389 (Press CTRL+C to quit)
[2023-09-11 08:55:21] ", prompt:"你好", response:"'你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'"
INFO:     127.0.0.1:33514 - "POST / HTTP/1.1" 200 OK
[2023-09-11 08:55:34] ", prompt:"你好", response:"'你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'"
INFO:     47.100.137.161:49200 - "POST / HTTP/1.1" 200 OK
^CINFO:     Shutting down
INFO:     Waiting for application shutdown.
INFO:     Application shutdown complete.
INFO:     Finished server process [91663]
(base) root@ubuntuserver:~/work/ChatGLM2-6B#

7. 测试量化后的int4模型


7.1 准备模型以及配置文件


下载模型，这里有个秘诀，用浏览器点击 这个模型：models / chatglm2-6b-int4 / pytorch_model.bin
下载时候，可以复制路径，然后取消。到服务器中，wget https://cloud.tsinghua.edu.cn/seafhttp/files/7cf6ec60-15ea-4825-a242-1fe88af0f404/pytorch_model.bin

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b-int4

下载ChatGLM2作者上传到清华网盘的模型文件
https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b-int4
并覆盖到chatglm2-6b-int4

tar -zcvf chatglm2-6b-int4_huggingface_src_20230911.tar.gz chatglm2-6b-int4 

7.2 修改cli_demo.py

tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("chatglm2-6b-int4", trust_remote_code=True).cuda()

7.3 运行测试

python3.10 cli_demo.py

(base) root@ubuntuserver:~# nvidia-smi
Mon Sep 11 09:14:16 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.54       Driver Version: 510.54       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:00:07.0 Off |                  N/A |
| 30%   31C    P8    25W / 350W |   5307MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     98805      C   python3.10                       5305MiB |
+-----------------------------------------------------------------------------+
(base) root@ubuntuserver:~#

8. 微调


这次微调，不能用python3.10了，脚本中是调用一些通过pip安装的软件如torchrun，用python3.10的pip安装的torch、streamlit未添加进系统运行环境，无法直接运行。
由于requirement.txt中的streamlit和python3.9有问题，因此注释掉streamlit即可。

8.1 安装依赖

pip install rouge_chinese nltk jieba datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

8.2 准备数据集


下载AdvertiseGen.tar.gz
https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1

放到ptuning目录下

解压
tar -zvxf AdvertiseGen.tar.gz

8.3 训练


修改脚本中的模型路径：
把
--model_name_or_path THUDM/chatglm2-6b \
修改为
--model_name_or_path ../chatglm2-6b \

把
--max_steps 3000 \
改为
--max_steps 60 \
这样数分钟后即可完成训练。

把
--save_steps 1000 \
改为
--save_steps 60 \

训练：
bash train.sh微调时GPU利用情况：

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    109674      C   ...user/anaconda3/bin/python     7631MiB |
+-----------------------------------------------------------------------------+
Mon Sep 11 09:48:55 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.54       Driver Version: 510.54       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:00:07.0 Off |                  N/A |
| 67%   60C    P2   331W / 350W |   7633MiB / 24576MiB |     86%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    109674      C   ...user/anaconda3/bin/python     7631MiB |
+-----------------------------------------------------------------------------+


8.4 训练完成


Training completed. Do not forget to share your model on huggingface.co/models =)

{'train_runtime': 358.4221, 'train_samples_per_second': 2.678, 'train_steps_per_second': 0.167, 'train_loss': 4.090850830078125, 'epoch': 0.01}
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [05:58<00:00,  5.97s/it]
***** train metrics *****
  epoch                    =       0.01
  train_loss               =     4.0909
  train_runtime            = 0:05:58.42
  train_samples            =     114599
  train_samples_per_second =      2.678
  train_steps_per_second   =      0.167
(base) root@ubuntuserver:~/work/ChatGLM2-6B/ptuning#

查看模型文件：
这个多了个checkpoint-60文件夹，内面有模型文件
ChatGLM2-6B/ptuning/output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-60

8.5 推理

还是修改推理脚本中的模型位置
vim evaluate.sh

把
STEP=3000
修改为
STEP=60

把
--model_name_or_path THUDM/chatglm2-6b \
修改为
--model_name_or_path ../chatglm2-6b \

运行
bash evaluate.sh

修改web_demo.sh中的模型和checkpoint为
    --model_name_or_path ../chatglm2-6b \
    --ptuning_checkpoint output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-60 \

问题：解决ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘
python -m pip install markupsafe==2.0.1

参考


[1]https://github.com/THUDM/ChatGLM2-6B
[2]ChatGLM-6B (介绍以及本地部署)，https://blog.csdn.net/qq128252/article/details/129625046
[3]ChatGLM2-6B｜开源本地化语言模型，https://openai.wiki/chatglm2-6b.html
[3]免费部署一个开源大模型 MOSS，https://zhuanlan.zhihu.com/p/624490276
[4]LangChain + ChatGLM2-6B 搭建个人专属知识库，https://zhuanlan.zhihu.com/p/643531454
[5]https://pytorch.org/get-started/locally/

qq_27158179
关注
专栏目录
超详细！10分钟部署ChatGLM2-6B，效果测试：不愧是中文榜单第一
m0_59164520的博客
06-25 2146
最近，终于有时间部署测试看看了，部署过程中遇到了一些坑，也查了很多博文终于完成了。1、进入到/home/work/chatglm2/chatglm2-web下面，修改openai_api.py的文件，更改模型文件路径，如若要修改服务端口，可以在下面修改port参数，这里修改成了8099端口。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
粉丝提问：大模型训练选A100还是A800的GPU服务器，算力租赁公司如何选择
AI全球视野
01-12 1553
今天有个粉丝来问，近期单位委托他采购算力租赁服务做大模型训练，想问下A800和A100显卡区别，以及怎么选择适合自己的算力？
大模型需要哪类服务器
m0_59327517的博客
11-01 1144
大模型需要高性能的服务器，以支持大规模的计算和存储需求。高性能计算服务器：高性能计算服务器可以提供高速的计算能力，适合处理大规模的科学计算任务。GPU服务器：GPU服务器可以提供高效的并行计算能力，适合处理大规模的深度学习任务。分布式存储服务器：分布式存储服务器可以提供大规模的存储空间，适合存储大规模的数据。云服务器：云服务器可以提供灵活的计算和存储资源，适合处理大规模的在线服务任务。大型机：大型机可以提供强大的计算能力，适合处理大规模的数据和复杂的计算任务。
LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南！
chatKnowhow的博客
07-12 1278
项目资源来源链接。
开源大模型ChatGLM2-6B 2. 跟着LangChain参考文档搭建LLM+知识库问答系统
迷宫中的我
09-12 1131
租用了1台GPU服务器，系统 ubuntu20，Tesla V100-16GB（GPU服务器已经关机结束租赁了）SSH地址：*端口：17520SSH账户：root密码：Jaere7pa内网： 3389 ， 外网：17518VNC地址：*端口：17519VNC用户名：root密码：Jaere7pa硬件需求，ChatGLM-6B和ChatGLM2-6B相当。量化等级 最低 GPU 显存FP16（无量化） 13 GB。
ChatGLM3-6b-必知必会的大模型部署案例
2401_85343303的博客
05-31 1008
你想要应用大模型，不会部署大模型那怎么能行？想要应用大模型，但是又不知道该如何下手？很多做技术的朋友一直对大模型应用跃跃欲试，大家也不想单单期望聚焦在指令应用阶段，还是想深度应用，我建议你可以分阶段深入，毕竟学习得有个循序渐进，不能一蹴而就。本篇文章我将聚焦在模型部署应用，希望对你有帮助！！！本篇文章聚焦在我在本地Windows环境下部署ChatGLM3-6b-32k的实操过程，分享我这次的操作过程还有模型部署的经验，当然还有遇到的坑。我就直接把整个过程写清楚，同时把问题和怎么处理的也一并输出。
在Windows系统下部署运行ChatGLM3-6B模型
最新发布
AlanZhou1993的博客
08-02 939
主要讲述关于清华ChatGLM3的部署应用
终于部署成功！GPU 云环境搭建 ChatGLM2-6B 坎坷路
06-29 4503
“这两天根据官方文档搭建国产开源大模型 ChatGLM2-6b，不说七七四十九难，也碰到不少坑，坑坑不一样。”01—之前ChatGLM2-6B 初体验文章发出时，答应朋友搭建一个免申请的版本，方便朋友们试用咱们的国产大语言模型。‍‍‍从官方指引开始，官方 Git 仓库：‍‍‍https://github.com/THUDM/ChatGLM2-6B看着很简单，统共3行命令。我就信心满满的撸起袖子开...
ChatGLM-6B —— 80%替换ChatGPT的开源对话大模型介绍（GLM，General Language Model ）
热门推荐
程序员光剑
04-08 5万+
我是一个人工智能助手,我被训练来回答各种问题。我可以通过自然语言处理技术来理解人类语言,并生成相应的回答。我可以用多种语言进行交流,包括中文、英文和法语等等。我可以帮助人们解决各种问题,包括学术、技术、科学、历史、文化等等。我的主要技能是自然语言处理和机器学习。我可以处理自然语言文本,并识别其中的含义和关系。我可以使用机器学习算法来生成新的文本或预测未来的事件。我还可以使用自然语言生成技术来创建机器翻译、语音合成和文本摘要等应用程序。我是一个快速发展的人工智能助手,我不断学习和发展,以便更好地服务人类。
人工智能_大模型001_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0136
添柴程序猿的专栏
02-19 530
如果你想用8G内存,普通电脑安装就算了,装不上的,至少32G内存,才能安装最小的,并且,安装不会顺利可能出现,多次安装不成功的情况,需要多次尝试,所以最好用AI服务器吧,或者租用在线的AI服务器,AI服务器安装版,那个博文里有推荐AI服务器租用.再把这个python的安装包,复制到/usr/local下面去,然后进入/usr/loal去看看。然后我们再去之前解压到/data/module/Python-3.10.8这个文件夹中,然后再去。然后再去安装,走到/openssl-1.1.1目录中,然后,执行。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
06-13 1608
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-t
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 1514
​ LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估和推理之图文教程之详细攻略 目录 一、配置基础环境及其注意事项 二、模型微调：让通用走向专业 三、模型评估和推理 一、配置基础环境及其注意事项 第一步、检测软硬件环境 设备和
一键安装langchain-ChatGLM
wuexp的专栏
05-15 5968
最近开源大模型层出不穷，非常火爆。好多小伙伴跃跃欲试，但是，大模型本地搭建，就算是只做推理也需要性能强悍的机器，更不要说微调和全参数训练，没有几十万的显卡投入是搞不定的。chatGLM推理可以在cpu上运行，但是不建议，速度很慢。6b模型建议12G显卡，最好16G以上（int4好像只要6G）。市面上，16G显存的显卡大概1w左右。24G大概1w5左右。如果不是专门做模型的人，不建议去购买，不过买来玩3A大作是挺好的，哈哈。算法小白建议租显卡，简单体验一下就行。
Python读取麦克风保存成文件并进行FFT
迷宫中的我
07-18 7180
FFT的结果是跟窗口有关的。我目的是想实时读取麦克风的，但目前只做到读取麦克风录音-&gt;保存wave文件-&gt;打开wave并进行FFT。 当时用Spectrogram 16这款软件达到了演示的目的。 想继续往下做，应该要参考这篇文。   ------------------------------------------------------- 这是本人在csdn的第一篇博文，...
用KNN分类器进行猫狗分类
迷宫中的我
09-24 5256
1. KNN简单介绍 KNN名字是K-nearest neighbors。Nearest neighbors是最邻近的，K是指数量。其思想大概是，在空间中先放置好所有用于训练的样品，把测试样品置于该空间中。用距离公式计算出离测试样品最近的K个样品，假如K个样品中属于A类的最多，那测试样品也算输入A类。 下图中，白色框图片是已经正确识别的。红色框内的图片是需要进行分类的。这里取K=4，与目标图片...
也说说Python中__init__.py的作用
迷宫中的我
10-03 2647
以一个猫狗识别的程序为例，说说__init__.py的作用。 在windows的cmd命令行中，使用下面指令把所在路径下面的所有文件以树的形式列出。 tree /F &gt; D:\tree.txt  我手头上的一个使用knn进行猫狗分类的项目，包含有以下的文件。 │ knn.py ├─pet_sample │ ├─cat1 │ │ │ └─dog1 │ ...
介绍保存与读取Keras模型的方法，并对MNIST数据集的训练模型尝试进行手写识别
迷宫中的我
10-01 1231
第一部分：介绍保存与读取Keras模型的方法 根据参考资料1，keras模型可保存为两种文件：JSON格式或者YAML格式 用户不必太关心两种格式的数据保存方式（至少我这样刚入门的暂时没必要这么深入）。记得摄像头的标定数据也是YAML格式，也有专门的API函数保存和读取数据的。 Deep.Learning.for.Computer.Vision.with.Python.Starter.Bun...
ChatGLM2-6B：更强对话模型，性能大幅提升
通过Multi-QueryAttention技术，ChatGLM2-6B的推理速度比初代模型提高了42%，并且在INT4量化下，仅需6GB显存就能支持8K长度的对话，这极大地提高了模型在实际应用中的可用性。 最后，ChatGLM2-6B的使用协议更加开放...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值