启动xinference和langchain-chatchat

一 启动xinference

1 进入软件安装目录

2 执行启动命令

linux下启动xinference xinference-local --host 0.0.0.0 --port 9997

windows下启动xinference-local --host 127.0.0.1 --port 9997

3 打开浏览器 http://127.0.0.1:9997

二  启动langchain-chatchat

1 初始化python chatchat/cli.py init

2 加载知识库

3 python chatchat/cli.py start -a

三 问题解决

1 windows运行Xinference报错找不到llama.dll

版本问题,从0.2.90降低到0.2.0问题解决

pip install llama-cpp-python==0.2.0 --extra-index-url https://abetlen.github
.io/llama-cpp-python/whl/cpu

2 pip install gradio==4.21.0

3 pip install chatglm_cpp-0.4.2-cp311-cp311-win_amd64.whl

4 修改缓存的存储位置

(Anaconda3的安装文件夹)\envs\Xinference\Lib\site-packages\xinference\constants.py

在get_xinference_home()函数中做以下修改:

def get_xinference_home() -> str:
    home_path = r"E:\XinferenceFiles"
    if home_path is None:
        home_path = str(Path.home() / ".xinference")
    else:
        # if user has already set `XINFERENCE_HOME` env, change huggingface and modelscope default download path
        os.environ["HUGGINGFACE_HUB_CACHE"] = os.path.join(home_path, "huggingface")
        os.environ["MODELSCOPE_CACHE"] = os.path.join(home_path, "modelscope")
    # In multi-tenant mode,
    # gradio's temporary files are stored in their respective home directories,
    # to prevent insufficient permissions
    # os.environ["GRADIO_TEMP_DIR"] = os.path.join(home_path, "tmp", "gradio")
    return home_path

参考链接:https://zhuanlan.zhihu.com/p/690702664

### 如何使用Docker部署Langchain-Chatchat 为了成功部署Langchain-Chatchat应用,需遵循一系列操作指南来确保环境配置无误。 #### 准备工作 确认本地已安装Docker以及docker-compose工具。这二者对于构建运行容器化应用程序至关重要[^1]。 #### 获取项目源码 通过Git或其他版本控制系统克隆Langchain-Chatchat项目的官方仓库至本地机器上。通常情况下,GitHub链接会在文档首页提供给开发者访问下载。 #### 修改`docker-compose.yml` 检查并调整位于项目根目录下的`docker-compose.yml`文件中的服务定义部分。如果遇到含有`deploy`关键字的服务设置而并非处于Swarm模式下,则应考虑添加`--compatibility`选项以兼容旧版特性[^2]。 ```yaml version: '3' services: langchain-chatchat-xinference-1: image: your_image_name_here container_name: langchain-chatchat-xinference-1 ports: - "8080:80" ``` 注意上述仅为示例片段,在实际环境中还需依据具体需求定制端口映射等参数。 #### 构建与启动服务 执行命令`docker-compose --compatibility up -d`用于拉取镜像、创建网络及卷,并以前台守护进程方式启动所有关联的服务实例。此过程中可能会有短暂延迟取决于互联网连接速度等因素影响。 #### 查看日志输出 一旦完成初始化过程后,可以通过输入`docker logs -f langchain-chatchat-xinference-1`实时跟踪指定容器的日志流以便监控其状态变化或排查潜在错误信息。 #### 验证部署成果 最后一步便是验证整个系统的正常运作情况。打开浏览器窗口导航到http://localhost:8080(假设前端界面监听于该地址),按照预期显示即代表部署顺利完成!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值