modelscope只读盘无法启动模型问题

简介

将提前下载好的modelscope模型目录，映射到容器中作为只读模式时会报错。

原因分析

使用modelscope加载模型时会去修改ast_index和具体模型的一些隐藏文件。

解决方案

如果你使用的框架支持直接传model的绝对路径（例如vllm），则可以直接传入具体的路径：/data/modelscope/qwen/Qwen1___5-110B-Chat
如果使用的框架不支持传入绝对路径（例如xinference），则可以考虑在容器内一个可读写的目录内，通过软链的方式链接到读写目录。对于modelscope需要修改的文件则直接copy到读写目录。

export MODELSCOPE_CACHE=/model

source_dir="/data/modelscope/qwen/Qwen1___5-110B-Chat"
target_dir="/model/qwen/Qwen1___5-110B-Chat"
mkdir -p "$target_dir"
cp /data/modelscope/ast_indexer /model
for file in "$source_dir"/* "$source_dir"/.*; do
    filename=$(basename "$file")
    target_file="$target_dir/$filename"
    if [[ "$filename" == "." || "$filename" == ".." ]]; then
        continue
    fi
    if [[ "$filename" == .* ]]; then
        cp -r "$file" "$target_file"
    else
        if [[ ! -e "$target_file" ]]; then
            ln -s "$file" "$target_dir/$filename"
        fi
    fi
done