ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
- 一. anconda
-
-
- 1. anconda安装
- 2. 环境变量配置
- 3. 使用过程中的问题
-
- 已经解决的问题
-
- 环境方面
- 1. cmd/powershell/anaconda prompt提示“系统找不到指定的路径”
- 使用方面
- 3. 无法加载文件C:\Users\xxx\Documents\WindowsPowerShell\profile.ps1，因为在此系统上禁止运行脚本
- 4. ValueError: greenlet.greenlet size以及keras保存的h5模型加载时出现“AttributeError: ‘str‘ object
- 5. ERROR: Could not build wheels for pycocotools which use PEP 517
- 6. Pycharm无法debug
- 未解决的问题
- 4. 其他博主遇到的问题
- 4. 目前可以做到的
-
- 二. CUDA、cuDNN
- 三. ChatGLM2-6B部署以及使用
-
- 一. ChatGLM2-6B部署
- 二. ChatGLM2-6B使用
-
- 1. 开始运行web_demo（Pycharm右键run）所遇到的问题
-
-
- 1. cannot import name ‘Doc‘ from ‘typing_extensions‘
- 2. ImportError: cannot import name ‘_illegal’ from 'sympy.core.numbers’错
-
- 3. DLL load failed while importing _imaging: 找不到指定的模块的解决方法 Python 文件命名引发的“module has no attribute“错误
- 4. python 报错 ModuleNotFoundError: No module named ‘chardet‘ 解决方法
- 5. chatglm2-b部署报错问题‘Textbox‘ object has no attribute ‘style‘
- 6. RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 8.00 GiB total capacity； 1
- 7. AssertionError: Unsupported bit-width
- 8. AssertionError: Torch not compiled with CUDA enabled
- 9. 如果和GCC有关
-
- 2. 正式开始运行web_demo（Pycharm右键run）
- 3. 正式开始运行web_demo2
- 4. api.py的问题
- 四. ChatGLM2-6B 模型基于 P-Tuning v2 的微调
咳咳，工作需要，我一个Unity程序员去做AI相关的研究。从一开始的调用文心一言接口到现在自己部署ChatGLM2-6B并且通过Api调用。记录一下这个过程。
首先要保证自己的显卡有6G。这是最基础的要求，说白了就是GTX1060或者1660。玩AI都是用N卡，哎~我的6700XT… 期待战未来。
首先，先安装python，版本的话，在写这个文章的时候我用的是3.8.0。够用就好，太新怕有莫名其妙的BUG。
一. anconda
anconda不同版本、不同系统、不同配置 会产生 各种 奇葩问题，这里只说明笔者遇到的一些问题，文中没有涉及到的请自行百度
1. anconda安装
笔者版本：Anaconda3-2019.03-Windows-x86_64
Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解 中的 一. Anacond下载安装配置教程详解
订阅专栏 解锁全文
扫一扫
2047
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
