什么！国产芯片MLU370-M8跑Chatglm2-6B!!

没错确实跑起来了，他真的跑起来了

---

前言

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。
更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用

---

一、环境准备

这里不过多的介绍如何创建环境，上一篇有讲到，这里我们主要讲重点

平台镜像选择

MLU370-M8卡

pytorch:v1.15.0-torch1.9-ubuntu20.04-py37

GLM2代码准备

git clone https://github.com/THUDM/ChatGLM2-6B.git

git checkout 07957bacf81c8923ce0c9b7b9041de060606dd87

记得选择正确的分支哦。

GLM2 model准备

apt-get install git-lfs

git clone https://huggingface.co/THUDM/chatglm2-6b

git checkout a6d54fac46dff2db65d53416c207a4485ca6bd40

就可以下载模型到本地

transformers 库在MLU370-M8

git clone -b v4.27.1 https://github.com/huggingface/transformers.git

python /torch/src/catch/tools/torch_gpu2mlu.py -i transformers/#这一步就可以实现让cuda算子变成mlu算子啦
pip install -e ./transformers_mlu #transformers_mlu就是上面引擎转换出来的，源码编译就可以使用了

pip install sentencepiece

二、代码修改部分

1.skip_init

因为我们平台镜像是1.9，没有1.10的函数，所以我们要更改这一行代码
chatglm2-6b/modeling_chatglm.py
注释掉：

# from torch.nn.utils import skip_init`

改成

def skip_init(module_cls, *args, **kwargs):
    if not issubclass(module_cls, torch.nn.Module):
        raise RuntimeError('Expected a Module; got {}'.format(module_cls))
   
    final_device = kwargs.pop('device', 'cpu')
    kwargs['device'] = 'meta'
    return module_cls(*args, **kwargs).to_empty(device=final_device)

2.jit fusion

chatglm2-6b/modeling_chatglm.py

# if sys.platform != 'darwin':
#     torch._C._jit_set_profiling_mode(False)
#     torch._C._jit_set_profiling_executor(False)
#     torch._C._jit_override_can_fuse_on_cpu(True)
#     torch._C._jit_override_can_fuse_on_gpu(True)

3.all算子

8月底我们就支持这个算子啦，先让他在cpu待会
chatglm2-6b/modeling_chatglm.py

if full_attention_mask is None:
            # if (attention_mask is not None and not attention_mask.all()) or (past_key_values and seq_length != 1):
            if (attention_mask is not None and not attention_mask.cpu().all()) or (past_key_values and seq_length != 1):
                full_attention_mask = self.get_masks(input_ids, past_key_values, padding_mask=attention_mask)

4. arrange_cpu 不支持half

arrange_cpu 不支持half

self.rotary_pos_emb = RotaryEmbedding(rotary_dim // 2, original_impl=config.original_rope, device=device,
                                            #   dtype=config.torch_dtype
                                              dtype = torch.float32)

---

三.运行

在我们读取模型的时候,改这一行

tokenizer = AutoTokenizer.from_pretrained("/workspace/volume/gpt/zhouguojun/GLM2/glm2-data/chatglm2-6b", trust_remote_code=True)
#model = AutoModel.from_pretrained("/workspace/volume/gpt/zhouguojun/GLM2/glm2-data/chatglm2-6b", trust_remote_code=True，device="cuda")
model = AutoModel.from_pretrained("/workspace/volume/gpt/zhouguojun/GLM2/glm2-data/chatglm2-6b", trust_remote_code=True).mlu()
model = model.eval()

你就能解锁GLM2模块啦

用户: 你好，你是谁
ChatGLM-6B:我是一个AI语言模型,被称为 ChatGUMo用户:禾日当午下一句
ChatGUM-6B: 汗滴禾下土。
用户: 谁知盘中餐
ChatGUM-6B: 分外甜。
用户:下一句
ChatGLM-6B: 我爱猪儿戒。

总结

其实不止GLM2很多模型及算法都早已适配，有问题私信问，或者其他篇章有联系方式。