ChatGLM2-6B-32K配置遇到的一些问题记录

1. 多卡训练：

# 设定使用的设备，如果有多张显卡，用逗号分隔
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

# 使用所有可见的设备
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 检查设备数量
num_gpus = torch.cuda.device_count()
print(f"Number of available GPUs: {num_gpus}")


def model_to_device(model):
    if num_gpus > 1:
        model = torch.nn.DataParallel(model)
    return model.to(DEVICE)


def torch_gc():
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
        torch.cuda.ipc_collect()

2. Windows安装bitsandbytes库：

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.40.0-py3-none-win_amd64.whl

3. NameError: name 'round_up' is not defined

删除Tesseract相关目录，可能是有冲突。

4. error @achrinza/node-ipc@9.2.2: The engine "node" is incompatible with this

yarn config set ignore-engines true