ChatGLM3模型加载的时候Tokenizer出现问题解决方案！！！

最新推荐文章于 2024-05-09 17:51:30 发布

小东mdl

最新推荐文章于 2024-05-09 17:51:30 发布

阅读量487

点赞数 9

文章标签： python 自然语言处理人工智能语言模型 chatgpt

本文链接：https://blog.csdn.net/alimaodong/article/details/136742851

版权

Huggingface下载到本地，加载Tokenizer的时候出现错误！

chatglm3-6b最新的tokenizer_config.json有些BUG：
原来的：

  "auto_map": {
    "AutoTokenizer": [
      "THUDM/chatglm3-6b--tokenization_chatglm.ChatGLMTokenizer",
      null
    ]
  },

改为

  "auto_map": {
    "AutoTokenizer": [
      "tokenization_chatglm.ChatGLMTokenizer",
      null
    ]
  },

就可以了！！

优惠劵

小东mdl

关注关注

9
点赞
踩
11

收藏

觉得还不错? 一键收藏
1
评论
ChatGLM3模型加载的时候Tokenizer出现问题解决方案！！！

加载本地huggingface（hf）模型的时候出现问题
复制链接

扫一扫

nlp-tokenizer

04-30

用法：在lib文件夹中运行以下命令：对于Linux： java -classpath args4j-2.0.6.jar:jmdn-base.jar:tokenizer.jar main.Main -filename ../data/sample.txt 对于Windows： java -classpath args4j-2.0.6.jar;jmdn-base.jar;tokenizer.jar main.Main -filename ..\data\sample.txt 注意：此项目是在Java 1.7中构建的贡献者： Nguyen Thac Thong-K57CA 潘宣天-K57CA 阮东林-K57CA 阮宣南-K57CA Truong Quoc Tuan-K57CA Le Van Giap-K57CA 阮范贾普-K57CA 阮团防-K57CA

【秒解决！！huggingface_hub.utils._errors.LocalEntryNotFoundError】

weixin_44257107的博客

03-07

6496

【秒解决：huggingface_hub.utils._errors.LocalEntryNotFoundError】

1 条评论您还未登录，请先登录后发表或查看评论

【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.

热门推荐

A-Itfuture的博客

01-05

1万+

如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.

Py3-Clang-Tokenizer

03-27

Py3-Clang-Tokenizer C / C ++标记程序的Python3端口可从。添加了一些额外的功能，例如从内存中的文件缓冲区进行解析，并删除了我的用例不需要的功能。安装（Mac OSX）确保安装了最新的XCode命令行工具xcode-select --install 您必须安装llvm brew install llvm 这会将llvm安装到具有以下库的系统上： /usr/local/Cellar/llvm/11.1.0/lib 确保根据您的安装更改tokenizer.py中的Config行： clang.cindex.Config.set_library_path("/usr/local/Cellar/llvm/11.1.0/lib") 用法（库）使用用C / C ++编写的代码字符串 from tokenizer import Tokenizer to

chatgptGPT3训练-gpt文本生成模型

04-01

下面是一个基于TensorFlow 2.0的-2中文训练教程，帮助您训练出自己的中文GPT-2模型。请注意，该教程需要一定程度的Python编程经验和机器学习知识。 . 准备工作 . 在开始训练之前，需要准备以下工具和库：  TensorFlow 2.0或更高版本   Python 3.6或更高版本   BPE中文分词库   huggingface/transformers库  . 数据预处理 . 在开始训练之前，需要准备中文文本数据，并进行预处理。对于中文数据，需要对其进行分词和编码，常见的方法是使用BPE算法进行分词，将分词后的词汇转换为数字索引。下面是一个基本的数据预处理过程，使用BPE中文分词库和Python编写： from tokenizers import ByteLevelBPETokenizertokenizer = ByteLevelBPETokenizer()# 训练分词器tokenizer.train(files=['data.txt'], vocab_size=32000, min_frequency=2, special_tokens=[

【ChatGLM3-6B】本地大模型使用方法详细教程！！！内含详细的代码解析！！

ZhuanShangNiDeXin的博客

03-20

2090

详细介绍ChatGLM3大模型本地部署的方式及使用方法！！！

chatglm3 lora微调，训练+预测问题总结

weixin_42179685的博客

02-05

1704

ValueError: Tokenizer class ChatGLMTokenizer does not exist or is not currently imported. 如下图。chatglm3没有set_input_embeddings，两个解决方案，推荐方法2。（2）修改load_model_and_tokenizer方法中的model。1.自写set_input_embeddings方法（网上的没试过）transformers版本太旧了，换版本~1.依赖缺啥包就import啥包。

【LLM】chatglm3的agent应用和微调实践

发现问题，并解决问题，批判性思维

11-25

6496

知识库和微调并不是冲突的，它们是两种相辅相成的行业解决方案。开发者可以同时使用两种方案来优化模型。例如：使用微调的技术微调ChatGLM3-6B大模型模拟客服的回答的语气和基础的客服思维。接着，外挂知识库将最新的问答数据外挂给ChatGLM3-6B，不断更新客服回答的内容信息。 chatglm3的对话格式中，部分使用 special token 表示，无法从文本形式被 tokenizer 编码以防止注入。metadata 部分采用纯文本表示，为可选内容。关于glm3的微调：与此

LLM大语言模型（一）：ChatGLM3-6B本地部署

hugo_lei的博客

12-03

3631

LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。

基于大模型chatglm的pdf文档解析.zip

10-30

基于大模型chatglm的pdf文档解析：实现对PDF解析，将给定的PDF结构化成以下几个部分。 - 文字 - 总标题，章节标题和章节对应的文字内容 - 图片 - 图片和图片标题 - 表格 - 表格和表格标题 - 参考 - 参考以下是这个项目的几个主要文件： - ```src/pdf_parser.py```：包含了所有 PDF 解析相关代码。 - ```src/llm_summarizer.py```：包含了大模型摘要相关代码。 - ```src/llm_extractor.py```：包含了大模型对参考文献做信息抽取相关代码。 - ```src/main.py```：包含了一些示例代码，展示了如何使用 ```src/pdf_parser.py``` 中的功能。 - ```src/utils.py```: 包含了一些工具函数。 - ```src/app.py```: 包含了一个用```streamlit```和```langchain```做PDF问答的例子。 - ```config.ini```：包含了大模型文件路径和相关的tokenizer文件路径。

LLaMA Tokenizer

02-09

LLaMA原生Tokenizer，词表大小为32000。

从服务器上直接下载huggingface模型，解决huggingface无法连接问题

a61022706的博客

12-08

8686

在服务器上使用huggingface模型时，如果直接指定模型名称，用AutoTokenizer.from_pretrained(“model_name”)，可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out因此我们需要下载模型到服务器上，得到模型本地的路径model_dir，再通过AutoTokenizer.from_pretrained(model_dir)方式来使用。

第五节课《LMDeploy 量化部署 LLM 实践》

fanre的专栏

05-06

676

PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。

Python3实现三菱PLC串口通讯(附源码和运行图)

最新发布

qq_38203551的博客

05-09

228

通过Python语言结合三菱通信协议实现的PyQt5上位机示例

继承与组合

g1446992400的博客

05-06

1004

继承就是创建新类的一种方式，这个新类可以继承一个或者多个其他类的属性新的类如果有自己属性，那就叫派生如果属性不封的情况下，谁实例化得到的self 就去谁里面找如果属性封装的情况下，谁实例化得到的self 无效，只能在当前所在的类的名称空间里面找。

Python 自动化脚本系列：介绍

代码说，代码让世界更美好。

05-08

832

Python 自动化脚本系列：介绍

Kubernetes基础(二十九)-资源预留

sre救赎之路

05-05

960

如果还设置了对应的 --system-reserved-cgroup 和 --kube-reserved-cgroup参数，Pod能实际使用的资源上限不会改变（即kubepods.limit_in_bytes不变），但系统进程与kube进程也会受到资源上限的限制。比如某个节点的内存的allocatable为10Gi，有三个Pod（requests.memory=3Gi）已经调度到该节点上，那么第4个Pod就无法调度到该节点上，即使该Node上的空闲内存大于3Gi。

加载RoBERTa-wwm的tokenizer和预训练模型的路径是什么

05-16

加载RoBERTa-wwm的tokenizer和预训练模型的路径可以通过以下代码实现： ```python from transformers import RobertaTokenizer, RobertaModel tokenizer = RobertaTokenizer.from_pretrained('hfl/chinese-roberta-wwm-ext') model = RobertaModel.from_pretrained('hfl/chinese-roberta-wwm-ext') ``` 在这里，我们使用 `from_pretrained` 方法加载预训练模型和tokenizer。预训练模型和tokenizer的路径是 'hfl/chinese-roberta-wwm-ext'。在这个路径下，有一个 `config.json` 文件，它描述了模型的配置信息，还有一个 `pytorch_model.bin` 文件，它保存了预训练的模型参数。这两个文件都需要在加载预训练模型时使用。tokenizer还有一个 `vocab.txt` 文件，它保存了将文本转换为token的映射关系。这个文件也需要在加载tokenizer时使用。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交