ChatGLM-6B模型部署【BUG 记录】AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. Did

最新推荐文章于 2024-06-09 03:30:00 发布

冰雪飞儿

最新推荐文章于 2024-06-09 03:30:00 发布

阅读量6k

点赞数

文章标签： bug

本文链接：https://blog.csdn.net/qq_45599476/article/details/133958904

版权

此文为处理时的和模型对话。

FastChat的部署首先，你需要创建AI环境，具体创建过程我不说了，雄哥已经课程里有一张专门讲环境搭建的！第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45 克隆FastChat的仓库，并进入目录中 git clone https://github.com/lm-sys/FastChat.git cd FastChat 如果你本地没有基座，需要你先下载 git clone https://huggingface.co/THUDM/chatglm2-6b 安装serve库 python -m fastchat.serve.controller 3.2 启动本地LLM 确保权重全部下载完成，如果你没办法用抱脸下载，你可以用国内镜像源或者在雄哥星球的链接下载 python -m fastchat.serve.model_worker --model-path chatglm2-6b 3.3 启动接API 这里注意第一个坑！没跑过的不知道！这个“host localhost"，你要改本地的地址，例如：127.0.0.1 python -m fastchat.serve.openai_api_server --host localhost --port 8000 他返回的key，是默认对齐OpenAI KEY的，意思是我们本地的LLM的API，“伪装成”OpenAI的key，让他可以被接入到Autogen中！因为星球有朋友问到这个事，简单说说！ 3.4 接入Autogen 这时我们打开jupyter-notebook，具体打开方法，环境篇也说了！这里，我们先加载oai.Completion，然后把你得到的api地址，填写到下面去！记住！一定要加“v1”，否则是无法被接入的！其他别动！看完以上安装教程请告诉我这chatglm2-6b模型下在哪里哪个文件

avatar

2023/10/21 09:44:07

根据你提供的安装教程，chatglm2-6b模型应该在FastChat仓库的根目录下的chatglm2-6b文件夹中。你可以使用以下命令进入该文件夹：

copy code

cd FastChat/chatglm2-6b

请注意，这只是根据你提供的信息推测的路径，实际情况可能会有所不同。如果你无法找到该文件夹，请参考FastChat仓库的文档或联系相关开发人员以获取准确的路径信息。

avatar

2023/10/21 09:46:34

python -m fastchat.serve.model_worker --model-path chatglm2-6b 那这行代码可以改模型位置吗？不可以的话我就把模型文件移过来

avatar

2023/10/21 09:46:49

是的，这行代码可以用来指定模型的位置。通过--model-path参数，你可以指定模型文件的路径。如果你将模型文件移动到其他位置，只需将--model-path后面的路径改为新的模型文件路径即可。确保路径是正确的，并且模型文件在指定的位置上。例如：

copy code

python -m fastchat.serve.model_worker --model-path /path/to/new_model

请将/path/to/new_model替换为你实际的模型文件路径。这样就可以指定新的模型位置进行运行了。

avatar

2023/10/21 09:48:56

原理如此谢谢

avatar

2023/10/21 09:49:08

你好，很高兴能帮到你！如果你还有其他问题，欢迎随时提问。我会尽力回答。

avatar

2023/10/21 09:49:57

python -m fastchat.serve.controller 那这句话是安装一个自己的模块？

avatar

2023/10/21 09:50:11

不是的，这句话是运行FastChat库中的controller模块。fastchat.serve.controller是FastChat库中的一个模块，它负责启动FastChat的控制器，用于处理用户输入和生成回复。运行这句命令会启动FastChat的控制器，使你能够与FastChat进行交互。这不是安装一个自己的模块，而是运行已经安装好的FastChat库中的模块。

avatar

2023/10/21 09:56:41

FastChat库这好像不是库吧，只是下载的一个项目

avatar

2023/10/21 09:56:54

对不起，我之前的回答有误。你是正确的，FastChat不是一个库，而是一个项目。它是一个基于Hugging Face的Transformers库构建的聊天机器人项目。你需要下载FastChat项目，并按照项目文档中的指南进行安装和运行。

请注意，FastChat项目是一个开源项目，你可以从GitHub上克隆项目的代码库，并按照项目文档中的说明进行安装和使用。如果你需要更多关于FastChat项目的信息，请参考项目的GitHub页面或联系项目的开发者。

对于我之前的错误回答，我深感抱歉。如果你有其他问题，我将尽力回答。

avatar

2023/10/21 09:58:24

那回到上一个问题python -m fastchat.serve.controller

avatar

2023/10/21 09:58:38

对于FastChat项目中的python -m fastchat.serve.controller命令，它是用来启动FastChat的控制器的。控制器是FastChat项目的一部分，它负责处理用户输入并生成相应的回复。通过运行这个命令，你可以启动FastChat的控制器，然后与聊天机器人进行交互。

请确保你已经按照FastChat项目的文档进行了正确的安装和配置。然后，在项目的根目录下运行python -m fastchat.serve.controller命令，即可启动FastChat的控制器。一旦控制器启动成功，你就可以开始与FastChat聊天了。

如果你遇到任何问题，建议查阅FastChat项目的文档或联系项目的开发者，以获取更详细的帮助和支持。

avatar

2023/10/21 10:00:50

E:\jupyter-notebook\jupyter\chatglm-6b-main\model 请替换我的路径python -m fastchat.serve.model_worker --model-path /path/to/new_model

avatar

2023/10/21 10:01:06

好的，你可以将命令中的/path/to/new_model替换为你实际的模型文件路径。根据你提供的路径信息，你可以将命令修改为：

copy code

python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model

请确保路径是正确的，并且模型文件位于指定的位置上。这样就可以使用新的模型路径运行命令了。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:02:01

不用加 r吗

avatar

2023/10/21 10:02:13

在命令行中，通常不需要在路径前面加上r。r前缀通常用于在Python代码中指示原始字符串，以避免转义字符的影响。但在命令行中，路径通常可以直接使用普通字符串表示，而无需添加r前缀。

因此，在你的命令中，不需要在路径前面加上r。你可以直接使用路径字符串进行替换，如下所示：

copy code

python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model

这样就可以正确指定模型文件的路径了。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:06:32

avatar

2023/10/21 10:06:45

看起来FastChat的控制器已成功启动，并正在运行在本地的localhost上，端口号为21001。你可以通过访问http://localhost:21001来与FastChat进行交互。

请注意，控制器已经在后台运行，所以你可以在终端中继续输入其他命令。如果你想停止FastChat的控制器，可以按下CTRL+C来终止运行。

现在你可以打开浏览器，访问http://localhost:21001，开始与FastChat进行聊天。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:08:34

avatar

2023/10/21 10:08:49

根据你提供的日志信息，FastChat的控制器已经成功启动，并在本地的localhost上运行，端口号为21001。你可以通过访问http://localhost:21001来与FastChat进行交互。

然而，根据日志中的信息，控制器在10:08:09结束运行，可能是因为你按下了CTRL+C来终止运行。如果你想重新启动FastChat的控制器，请再次运行python -m fastchat.serve.controller命令。

请注意，确保在控制器运行期间不要终止控制台窗口，否则控制器将停止运行。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:09:24

我要python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model 如何进行，重新开一个

avatar

2023/10/21 10:09:41

如果你想在新的终端窗口中重新运行python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model命令，你可以按照以下步骤进行：

关闭当前运行该命令的终端窗口。你可以按下CTRL+C来终止运行。
打开一个新的终端窗口。你可以在操作系统中找到终端或命令提示符应用程序，并打开它。
在新的终端窗口中，切换到FastChat项目的根目录。你可以使用cd命令来进入FastChat项目的目录。例如：
copy code
cd E:\jupyter-notebook\jupyter\FastChat
运行python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model命令。确保路径是正确的，并且模型文件位于指定的位置上。

这样，你就可以在新的终端窗口中重新运行该命令了。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:11:44

那我关闭了这个终端不是FastChat的控制器停了

avatar

2023/10/21 10:11:57

是的，如果你关闭了运行FastChat控制器的终端窗口，那么控制器将停止运行。控制器需要在终端窗口中持续运行才能保持与用户的交互。

如果你想让FastChat控制器在后台一直运行，你可以考虑使用一些工具来实现，比如nohup命令（适用于Linux和Mac系统）或者使用类似screen或tmux的终端多路复用工具。这些工具可以让你在关闭终端窗口后继续保持程序的运行。

具体使用哪种工具取决于你所使用的操作系统和个人偏好。你可以搜索相关的文档和教程，以了解如何在后台运行程序。如果你有其他问题，请随时提问。

avatar

2023/10/21 10:24:31

(love) E:\jupyter-notebook\jupyter\FastChat>python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model Traceback (most recent call last): File "<frozen runpy>", line 198, in _run_module_as_main File "<frozen runpy>", line 88, in _run_code File "E:\jupyter-notebook\jupyter\FastChat\fastchat\serve\model_worker.py", line 18, in <module> from fastchat.model.model_adapter import ( File "E:\jupyter-notebook\jupyter\FastChat\fastchat\model\__init__.py", line 1, in <module> from fastchat.model.model_adapter import ( File "E:\jupyter-notebook\jupyter\FastChat\fastchat\model\model_adapter.py", line 18, in <module> from transformers import ( ImportError: cannot import name 'LlamaTokenizer' from 'transformers' (E:\anaconda3\envs\love\Lib\site-packages\transformers\__init__.py)

avatar

2023/10/21 10:24:44

Request failed with status code 500

avatar

2023/10/21 10:24:56

avatar

2023/10/21 10:25:15

这个错误提示表明在FastChat的模型适配器中无法导入LlamaTokenizer，并且该模块的导入尝试发生在transformers库中的__init__.py文件中。

这个问题可能是由于LlamaTokenizer在你的环境中没有正确安装或者版本不兼容所导致的。为了解决这个问题，你可以尝试以下几个步骤：

确保你已经正确安装了transformers库。你可以使用pip命令来安装或更新transformers库，例如：pip install transformers。
检查transformers库的版本。确保你使用的是与FastChat项目兼容的版本。你可以使用pip show transformers命令来查看已安装的transformers库的版本。
如果你已经安装了transformers库，但仍然遇到问题，可以尝试卸载并重新安装transformers库。使用pip uninstall transformers命令来卸载，然后再使用pip install transformers命令重新安装。

如果以上步骤仍然无法解决问题，可能需要进一步检查你的环境配置和依赖项。你可以查阅FastChat项目的文档或联系项目的开发者，以获取更详细的帮助和支持。

avatar

2023/10/21 10:25:49

(love) E:\jupyter-notebook\jupyter\FastChat>pip show transformers Name: transformers Version: 4.27.1 Summary: State-of-the-art Machine Learning for JAX, PyTorch and TensorFlow Home-page: https://github.com/huggingface/transformers Author: The Hugging Face team (past and future) with the help of all our contributors (https://github.com/huggingface/transformers/graphs/contributors) Author-email: transformers@huggingface.co License: Apache 2.0 License Location: E:\anaconda3\envs\love\Lib\site-packages Requires: filelock, huggingface-hub, numpy, packaging, pyyaml, regex, requests, tokenizers, tqdm Required-by:

avatar

2023/10/21 10:26:22

你好！根据您提供的查询，查询结果显示您使用的是transformers库的版本4.27.1。这是一个用于JAX、PyTorch和TensorFlow的最先进的机器学习库。它提供了各种预训练的模型和预训练的tokenizer，可以用于文本生成、文本分类、问答等自然语言处理任务。您遇到的问题是无法从transformers库中导入LLaMATokenizer。根据搜索结果中的stackoverflow的帖子[[5]]，LLaMATokenizer是一个特定于GitHub上名为llama_push的repo的tokenizer类。根据该帖子的回答，如果您希望使用LLaMATokenizer，您需要克隆该repo并将其添加到您的代码中。您可以按照该repo的README文件中的说明进行操作。另外，在查找到的知乎专栏[[7]]中提到了MiniGPT-4的介绍、体验和部署教程。该专栏介绍了MiniGPT-4使用先进的大型语言模型增强视觉语言理解，并提供了github链接和工作原理的翻译。此外，还有一个关于微调多模态大模型MiniGPT-4的知乎回答[[9]]，该回答介绍了一个视觉指令生成及修正模型VIGC，可以自动生成多样性的指令数据，并用于提高模型性能。希望这些信息对您有所帮助！

参考搜索结果:

[5]ImportError: cannot import name 'LLaMATokenizer' from 'transformers' - Stack Overflow

[7]MiniGPT-4(大型语言模型增强视觉语言理解)介绍、体验、部署教程 - 知乎专栏

[9]有没有多模态大模型MiniGPT-4微调的保姆级教程？ - OpenDataLab 的回答 - 知乎

avatar

2023/10/21 10:27:47

使用LLaMATokenizer，您需要克隆该repo并将其添加到您的代码中如何操作

avatar

2023/10/21 10:28:12

使用LLaMATokenizer，您需要先[[3]]克隆该repo，并将其添加到您的代码中。克隆repo的具体步骤可以参考[[3]]中的文档。

参考搜索结果:

[3]克隆仓库- GitHub 文档

avatar

2023/10/21 10:36:48

(love) E:\jupyter-notebook\jupyter\FastChat>python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model 2023-10-21 10:36:28 | INFO | model_worker | args: Namespace(host='localhost', port=21002, worker_address='http://localhost:21002', controller_address='http://localhost:21001', model_path='E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model', revision='main', device='cuda', gpus=None, num_gpus=1, max_gpu_memory=None, dtype=None, load_8bit=False, cpu_offloading=False, gptq_ckpt=None, gptq_wbits=16, gptq_groupsize=-1, gptq_act_order=False, awq_ckpt=None, awq_wbits=16, awq_groupsize=-1, enable_exllama=False, exllama_max_seq_len=4096, exllama_gpu_split=None, model_names=None, conv_template=None, embed_in_truncate=False, limit_worker_concurrency=5, stream_interval=2, no_register=False, seed=None) 2023-10-21 10:36:28 | INFO | model_worker | Loading the model ['E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model'] on worker e870a7e0 ... 2023-10-21 10:36:28 | ERROR | stderr | Traceback (most recent call last): 2023-10-21 10:36:28 | ERROR | stderr | File "<frozen runpy>", line 198, in _run_module_as_main 2023-10-21 10:36:28 | ERROR | stderr | File "<frozen runpy>", line 88, in _run_code 2023-10-21 10:36:28 | ERROR | stderr | File "E:\jupyter-notebook\jupyter\FastChat\fastchat\serve\model_worker.py", line 341, in <module> 2023-10-21 10:36:28 | ERROR | stderr | args, worker = create_model_worker() 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\jupyter-notebook\jupyter\FastChat\fastchat\serve\model_worker.py", line 315, in create_model_worker 2023-10-21 10:36:28 | ERROR | stderr | worker = ModelWorker( 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\jupyter-notebook\jupyter\FastChat\fastchat\serve\model_worker.py", line 74, in __init__ 2023-10-21 10:36:28 | ERROR | stderr | self.model, self.tokenizer = load_model( 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\jupyter-notebook\jupyter\FastChat\fastchat\model\model_adapter.py", line 301, in load_model 2023-10-21 10:36:28 | ERROR | stderr | model, tokenizer = adapter.load_model(model_path, kwargs) 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\jupyter-notebook\jupyter\FastChat\fastchat\model\model_adapter.py", line 725, in load_model 2023-10-21 10:36:28 | ERROR | stderr | tokenizer = AutoTokenizer.from_pretrained( 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\anaconda3\envs\love\Lib\site-packages\transformers\models\auto\tokenization_auto.py", line 738, in from_pretrained 2023-10-21 10:36:28 | ERROR | stderr | return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs) 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\anaconda3\envs\love\Lib\site-packages\transformers\tokenization_utils_base.py", line 2017, in from_pretrained 2023-10-21 10:36:28 | ERROR | stderr | return cls._from_pretrained( 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "E:\anaconda3\envs\love\Lib\site-packages\transformers\tokenization_utils_base.py", line 2249, in _from_pretrained 2023-10-21 10:36:28 | ERROR | stderr | tokenizer = cls(*init_inputs, **init_kwargs) 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\model\tokenization_chatglm.py", line 196, in __init__ 2023-10-21 10:36:28 | ERROR | stderr | super().__init__( 2023-10-21 10:36:28 | ERROR | stderr | File "E:\anaconda3\envs\love\Lib\site-packages\transformers\tokenization_utils.py", line 367, in __init__ 2023-10-21 10:36:28 | ERROR | stderr | self._add_tokens( 2023-10-21 10:36:28 | ERROR | stderr | File "E:\anaconda3\envs\love\Lib\site-packages\transformers\tokenization_utils.py", line 467, in _add_tokens 2023-10-21 10:36:28 | ERROR | stderr | current_vocab = self.get_vocab().copy() 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\model\tokenization_chatglm.py", line 248, in get_vocab 2023-10-21 10:36:28 | ERROR | stderr | vocab = {self._convert_id_to_token(i): i for i in range(self.vocab_size)} 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\model\tokenization_chatglm.py", line 244, in vocab_size 2023-10-21 10:36:28 | ERROR | stderr | return self.sp_tokenizer.num_tokens 2023-10-21 10:36:28 | ERROR | stderr | ^^^^^^^^^^^^^^^^^ 2023-10-21 10:36:28 | ERROR | stderr | AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?

avatar

2023/10/21 10:37:07

根据错误提示，问题出现在ChatGLMTokenizer对象上，它没有sp_tokenizer属性。这可能是由于模型适配器中的代码与您使用的LLaMATokenizer不兼容导致的。

要解决这个问题，您可以尝试以下几个步骤：

确保您正确安装了LLaMATokenizer，并且版本与FastChat项目兼容。您可以查阅LLaMATokenizer的文档或GitHub存储库，了解如何正确安装和使用它。
检查您的代码中是否正确导入了LLaMATokenizer，并且在使用它之前进行了实例化。确保您的代码中包含了正确的导入语句和实例化LLaMATokenizer的代码。
如果您已经按照上述步骤操作，并且仍然遇到问题，可能需要检查模型适配器的代码，确保它与LLaMATokenizer兼容。您可以查阅FastChat项目的文档或联系项目的开发者，以获取更详细的帮助和支持。

如果以上步骤仍然无法解决问题，可能需要进一步检查您的环境配置和依赖项。您可以尝试重新安装FastChat项目，并确保按照项目的要求进行配置和安装依赖项。

最后知乎解决

transformer版本问题报错

花小吴

报错：AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'. Did you mean: 'tokenize'?

解决办法：报错的transformers版本 transformers==4.34.0

修改后的transformers版本transformers==4.33.2

pip uninstall transformers

pip install transformers==4.33.2

运行
(love) E:\jupyter-notebook\jupyter\FastChat>python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model
2023-10-21 11:15:09 | INFO | model_worker | args: Namespace(host='localhost', port=21002, worker_address='http://localhost:21002', controller_address='http://localhost:21001', model_path='E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model', revision='main', device='cuda', gpus=None, num_gpus=1, max_gpu_memory=None, dtype=None, load_8bit=False, cpu_offloading=False, gptq_ckpt=None, gptq_wbits=16, gptq_groupsize=-1, gptq_act_order=False, awq_ckpt=None, awq_wbits=16, awq_groupsize=-1, enable_exllama=False, exllama_max_seq_len=4096, exllama_gpu_split=None, model_names=None, conv_template=None, embed_in_truncate=False, limit_worker_concurrency=5, stream_interval=2, no_register=False, seed=None)
2023-10-21 11:15:09 | INFO | model_worker | Loading the model ['E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model'] on worker b760bd8b ...
Loading checkpoint shards: 0%| | 0/8 [00:00<?, ?it/s]
Loading checkpoint shards: 12%|███████▏ | 1/8 [00:01<00:12, 1.84s/it]
Loading checkpoint shards: 25%|██████████████▎ | 2/8 [00:03<00:10, 1.81s/it]
Loading checkpoint shards: 38%|█████████████████████▍ | 3/8 [00:05<00:09, 1.88s/it]
Loading checkpoint shards: 50%|████████████████████████████▌ | 4/8 [00:07<00:07, 1.94s/it]
Loading checkpoint shards: 62%|███████████████████████████████████▋ | 5/8 [00:09<00:05, 1.88s/it]
Loading checkpoint shards: 75%|██████████████████████████████████████████▊ | 6/8 [00:11<00:04, 2.09s/it]
Loading checkpoint shards: 88%|█████████████████████████████████████████████████▉ | 7/8 [00:14<00:02, 2.10s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 8/8 [00:16<00:00, 2.16s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 8/8 [00:16<00:00, 2.04s/it]
2023-10-21 11:15:26 | ERROR | stderr |
2023-10-21 11:15:37 | INFO | model_worker | Register to controller
2023-10-21 11:15:37 | ERROR | stderr | INFO: Started server process [10680]
2023-10-21 11:15:37 | ERROR | stderr | INFO: Waiting for application startup.
2023-10-21 11:15:37 | ERROR | stderr | INFO: Application startup complete.
2023-10-21 11:15:37 | ERROR | stderr | INFO: Uvicorn running on http://localhost:21002 (Press CTRL+C to quit)
2023-10-21 11:16:22 | INFO | model_worker | Send heart beat. Models: ['E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model']. Semaphore: None. call_ct: 0. worker_id: b760bd8b.

冰雪飞儿

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
7
评论
ChatGLM-6B模型部署【BUG 记录】AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. Did

此文为处理时的和模型对话。FastChat的部署首先，你需要创建AI环境，具体创建过程我不说了，雄哥已经课程里有一张专门讲环境搭建的！第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！
复制链接

扫一扫