nas图库 immich文字搜图,immich 人物识别,immich LLM,XLM-Roberta-Large-Vit-B-16Plus,antelopev2,buffalo_l

immich 自托管照片和视频管理 解决方案

轻松在您自己的服务器上备份、组织和管理您的照片。Immich 可帮助您轻松浏览、搜索和整理您的照片和视频,而不会牺牲您的隐私。
分享持续更新中,有了最新版的也会继续分享在这里。

文字搜图,图片文本化大模型(2024-09-05):XLM-Roberta-Large-Vit-B-16Plus
人脸识别模型(2023-11-10):antelopev2
人脸识别模型(2023-11-10):buffalo_l
人脸识别模型(2023-11-10):buffalo_m
人脸识别模型(2023-11-10):buffalo_s

immich 机器学习模型下载 | XLM-Roberta-Large-Vit-B-16Plus | antelopev2 | buffalo_l

大家能搜到这里,说明大家已经安装好了,但是ai模型是需要联网下载的,因为不可抗力的因素下载不了,所以我写了这篇文章。

需要注意的是,你已经为ai模型的目录映射了假设为如下

/docker/immich/models:/cache

所以我的目录为 /docker/immich/models,之后要在此目录上添加文件夹和上传模型

mkdir /docker/immich/models/facial-recognition
mkdir /docker/immich/models/clip

facial-recognition 目录为人脸识别的模型的目录。

clip 目录为中文搜图的模型的目录。

immich 机器学习模型下载 | XLM-Roberta-Large-Vit-B-16Plus | antelopev2 | buffalo_l

直接把zip文件上传到对应的目录

/docker/immich/models/facial-recognition 目录上传 antelopev2.zip 或者 buffalo_l.zip 或者 buffalo_m.zip 或者 buffalo_s.zip,磁盘空间足够也可以全部上传(后台配置时,请选择你上传的)。

/docker/immich/models/clip 目录上传 XLM-Roberta-Large-Vit-B-16Plus.zip

zip包直接解压即可。zip包直接解压即可。zip包直接解压即可。

正确的目录为:

人脸识别:/docker/immich/models/facial-recognition/antelopev2 或者 /docker/immich/models/facial-recognition/buffalo_l

中文搜图:/docker/immich/models/clip/XLM-Roberta-Large-Vit-B-16Plus

至此全部OK。

下面是两个正确的截图:

有关于immich相关的问题大家可以私信给我。需要其它大模型的也可以私信给我。

### 使用 AutoGPTQ 库量化 Transformer 模型 为了使用 `AutoGPTQ` 对 Transformer 模型进行量化,可以遵循如下方法: 安装所需的依赖包是必要的操作。通过 pip 安装 `auto-gptq` 可以获取最新版本的库。 ```bash pip install auto-gptq ``` 加载预训练模型并应用 GPTQ (General-Purpose Tensor Quantization) 技术来减少模型大小和加速推理过程是一个常见的流程。下面展示了如何利用 `AutoGPTQForCausalLM` 类来进行这一工作[^1]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer from auto_gptq import AutoGPTQForCausalLM model_name_or_path = "facebook/opt-350m" quantized_model_dir = "./quantized_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) # 加载已经量化的模型或者创建一个新的量化器对象用于量化未压缩过的模型 gptq_model = AutoGPTQForCausalLM.from_pretrained(quantized_model_dir, model=model, tokenizer=tokenizer) ``` 对于那些希望进一步优化其部署环境中的模型性能的人来说,`AutoGPTQ` 提供了多种配置选项来自定义量化参数,比如位宽(bit-width),这有助于平衡精度损失与运行效率之间的关系。 #### 注意事项 当处理特定硬件平台上的部署时,建议查阅官方文档以获得最佳实践指导和支持信息。此外,在实际应用场景之前应该充分测试经过量化的模型以确保满足预期的质量标准。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值