Mac M4 安装RAGFlow+ollama本地大模型踩坑经历

最新推荐文章于 2025-04-23 18:11:40 发布

angelpxq

最新推荐文章于 2025-04-23 18:11:40 发布

阅读量2.2k

点赞数 8

分类专栏： LLM 文章标签： macos

本文链接：https://blog.csdn.net/angelpxq/article/details/145714838

版权

LLM 专栏收录该内容

1 篇文章

订阅专栏

修改 Docker 配置文件添加镜像源地址

为了使 Docker 使用更快捷的镜像仓库服务，可以通过编辑 /etc/docker/daemon.json 文件实现。此文件用于指定一系列可信任的镜像服务器作为代理。

安装ragflow：

安装操作如下（https://github.com/infiniflow/ragflow/issues/5012）

git clone <https://github.com/infiniflow/ragflow.git>
cd ragflow/
pip3 install huggingface_hub nltk
python3 download_deps.py

在python3 download_deps.py步遇到huggingface_hub.errors.LocalEntryNotFoundError，由于国内IP无法登录Huggingface导致。解决方法：

pip install -U huggingface_hub hf_transfer -i <https://pypi.tuna.tsinghua.edu.cn/simple>
export HF_ENDPOINT=https://hf-mirror.com
#重新运行python3 download_deps.py即可

若docker build 过程中出现

ERROR: failed to solve: ubuntu:22.04: failed to resolve source metadata for docker.io/library/ubuntu:22.04: failed commit on ref "unknown-sha256:…": failed size validation: 7611 != 7283: failed precondition

有可能是版本冲突导致，可以使用以下代码清理docker cache

# Ensure You Have the Latest Version of Docker
#Remove Unused Data:
docker system prune -a
docker builder prune

# Force a Manual Pull of the Base Image
docker pull --platform linux/arm64 ubuntu:22.04
docker pull --platform linux/amd64 ubuntu:22.04

docker build -f Dockerfile.deps -t infiniflow/ragflow_deps .
docker build -f Dockerfile -t infiniflow/ragflow:nightly .
# Edit .env before run this
docker compose -f docker/docker-compose-macos.yml up -d

出现es01运行不起来反复开启关闭，修改 service.environment in docker/docker-compose-base.yml :

environment:
- node.name=es01
- ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
- bootstrap.memory_lock=false
- discovery.type=single-node
- xpack.security.enabled=true
- xpack.security.http.ssl.enabled=false
- xpack.security.transport.ssl.enabled=false
- cluster.routing.allocation.disk.watermark.low=5gb
- cluster.routing.allocation.disk.watermark.high=3gb
- cluster.routing.allocation.disk.watermark.flood_stage=2gb
- TZ=${TIMEZONE}
- "ES_JAVA_OPTS=-XX:UseSVE=0"
- "CLI_JAVA_OPTS=-XX:UseSVE=0"

链接RAGFLOW与Ollama

修改ollama host，确保可以访问： launchctl setenv OLLAMA_HOST "0.0.0.0:11434”，然后重启重新运行ollama
浏览器浏览网址https://localhost:80 打开ragflow界面注册
点击model provider，链接ragflow和ollama，也可以通过API接口连接sliconflow
配置系统模型