在AutoDL平台部署Streamlit服务

最新推荐文章于 2025-02-08 20:23:57 发布

In_dolent

最新推荐文章于 2025-02-08 20:23:57 发布

阅读量745

点赞数 3

文章标签：服务器运维

本文链接：https://blog.csdn.net/In_dolent/article/details/139101043

版权

由于在服务器上部署ChatGLM3需要运行综合demo，并在本地电脑上访问，记录一下流程
1.首先是在AutoDL启动streamlit服务。AutoDL给的自定义服务端口为6066，所以设置一下address和port

streamlit run ChatGLM3/basic_demo/web_demo_streamlit.py model/chatglmMerge_1/ --server.address 127.0.0.1 --server.port 6006

2.在本地CMD上运行一下代码

ssh -CNg -L 6006:127.0.0.1:6006 root@connect.westc.gpuhub.com -p 39747

其中root@connect.westc.gpuhub.com和39747分别是实例中SSH指令的访问地址与端口，请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。

之后直接访问 http://127.0.0.1:6006即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

In_dolent

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Docker 部署Streamlit项目 | Streamlit如何部署到云服务器

Github主页：https://github.com/xinyangwy

10-31

5402

文章目录前言：关于streamlitDocker 部署Streamlit项目 | Streamlit如何部署到云服务器1、安装docker2、拉取python镜像2.1、什么是DockerHub?2.2、**配置docker加速器**：2.3、拉取python镜像3. 创建python容器3.1、首先创建网段3.2、在创建的网段范围内创建python容器4、启动服务streamlit服务5、docker常用命令6、可能的报错：前言：关于streamlit 关于streamlit：官网：https

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9b-chat训练(Lo

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

06-07

1555

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9B训练(LoRA/P-Tuning v2微调)+推理案例的全流程实战目录一、清理服务器缓存二、模型推理三、模型微调 3.1、基于GLM-4-9b实现问答对话(单轮)微调 3.2、基于GLM-4-9b实现问答对话(多轮)微调一、清理服务器缓存 ECS之AutoDL：Au

参与评论您还未登录，请先登录后发表或查看评论

【bug解决】AutoDL上streamlit部署LLM，Network URL无法访问

qq_41502855的博客

06-20

1355

通过本地访问Network URL，长时间无响应后请求失败。且无法从本地ping通该ip。尝试了github上诸多方法均无效后，怀疑是服务器无独立公网IP导致。2、启动streamlit服务时，设置端口为127.0.0.1，端口为6006。执行streamlit run xx.py后的得到Network URL,3、打开链接成功请求到streamlit服务，开始愉快地对话吧～1、打开自定义服务，根据对应操作系统进行配置。通过查看AutoDL官方文档，

基于AutoDL部署和微调Chatglm3-6b实战

weixin_43787408的博客

05-17

2051

选用AutoDL平台进行部署，租用GPU型号建议选用一张4090，显存一定要选用24G的，CUDA版本尽量选最新的。完成服务器的租用和环境搭建后，选择快捷工具中的“JupyterLab”进入服务器查看。autodl-tmp文件夹为数据盘，后续将模型及模型权重下载到这个文件夹中。

autodl中streamlit生成的网页链接无法访问

m0_56683961的博客

07-10

1162

配置好之后在命令行页面输入streamlit run main.py --server.address=127.0.0.1 --server.port=6006，弹出来链接再复制到浏览器就可以正常访问了。在autodl的实例命令行页面，使用streamlit run main.py后生成了3个地址，但是将地址复制到浏览器后发现无法访问。首先，需要在实例的自定义服务中下载window对应的ssh.zip。打开后，填写ssh指令和密码，端口默认6006。最终，在这篇帖子里发现了解决方法。

在AutoDL平台部署ChatGLM3-6B(0基础小白超详细教程)

weixin_68531269的博客

01-22

5987

修改/ChatGLM3/basic_demo/web_demo_gradio.py的25行，将MODEL_PATH修改为上边下载好的本地路径。打开jupyterLab，进入数据盘（autodl-tmp），打开终端，将ChatGLM3-6B模型下载到数据盘中。下载模型文件很慢，可以停止下载，此时在/autodl-tmp/chatglm3-6b/目录下载主要的模型文件。复制这些文件的地址，在/autodl-tmp/chatglm3-6b/目录下，使用wget下载(非常的快)在/root下打开终端，执行。

在AutoDL上部署一个自定义的Python环境并在pycharm上使用

qq_45657669的博客

11-12

907

下面将会给出如何在AutoDL部署一个自定义的Python环境的详细步骤，希望可以帮助到同样对于显卡具有需求的同学。

streamlit修改端口为指定端口

weixin_42726887的博客

04-22

4969

streamlit修改端口为指定端口。

autodl云计算平台使用ollama 部署lightrag 加入streamlit界面

2202_75354817的博客

02-08

830

笔记

手把手教你在autodl上部署llama模型

qq_66413036的博客

07-19

2996

从0开始手把手教你如何在autodl上部署llama大模型

Streamlit:在Streamlit上托管的项目

03-25

流光在Streamlit上托管的项目

本地部署开源大模型的完整教程LangChain + Streamlit+ Llama

09-23

本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及到的主要知识点：一、LangChain LangChain是一个免费的框架，...

三、streamlit Web本地部署Llama3.1-8B

weixin_47667570的博客

08-20

984

考虑到部分同学配置环境可能会遇到一些问题，我们在AutoDL平台准备了LLaMA3-1的环境镜像，点击下方链接并直接创建Autodl示例即可。首先pip换源加速下载并安装依赖包# 升级pip# 更换 pypi 源加速库的安装。

在AutoDL上部署百川2大模型

何以问_的博客

05-31

511

我这里选择3090 , 硬盘尽量选择可以扩容的 , CUDA版本尽量高一点50G就可以了。

autodl搭建云服务器，运行深度学习代码

qq_45740724的博客

10-31

3602

Autodl+vscode 搭建深度学习运行环环境

基于Autodl云服务器微调专属你的GLM4-9B-Chat的LLM

qq_43919498的博客

07-23

1897

1、过程中遇到很多很多的问题，徒耗了好多精力和时间，就比如这个因为我是下载的最新权重参数模型，所以下载下来的transformers版本是最新最新的，导致LLaMA-Factory的一些文件虽然requirement是这么写的，

[大模型]Yi-6B-chat WebDemo 部署

FL1623863129的博客

04-13

890

由60亿个参数组成的高级语言模型 Yi LLM。为了促进研究，Yi 已经为研究社区开放了Yi LLM 6B/34B Base 和 Yi LLM 6B/34B Chat。

在服务器使用tensorboard查看模型，但是本地访问127.0.0.1:6006被拒绝

qq_39737205的博客

04-15

2651

在用xshell等ssh工具远程连接服务器时，我们常常在服务器上运行tensorflow代码，而且模型tf.summary保存文件在服务器上，这是直接采用tensorboard会有一些小问题。直接用tensorboard --logdir=‘file’ --port=6006后，本地笔记本打开生成的url会无法显示原文：https://blog.csdn.net/weixin_4383862...

手把手教你部署并使用国产开源大模型ChatGLM3-6B

youmaob的博客

05-08

3233

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

autodl上部署ragflow

最新发布

04-01

<think>嗯，用户想了解在AutoDL上部署RAGFlow。首先，我需要确认RAGFlow是什么。RAGFlow应该是结合了检索增强生成（RAG）和流程化处理的应用框架，可能用于构建智能问答系统或者文档处理工具。那AutoDL是一个云平台，提供GPU资源，适合部署深度学习应用。用户可能希望在这个平台上快速搭建RAGFlow环境。接下来，我得考虑部署的步骤。通常，云平台部署需要环境配置、依赖安装、代码获取、配置调整、运行和测试。AutoDL可能提供预置的镜像，比如PyTorch环境，这可以节省时间。需要检查RAGFlow的官方文档，看看有没有具体的安装要求，比如Python版本、依赖库等。然后，用户可能需要安装Docker，因为很多应用推荐容器化部署。不过，如果RAGFlow本身可以直接通过pip安装，那步骤会更简单。但假设需要Docker，就得在AutoDL实例中安装Docker，并拉取相关镜像。但AutoDL的实例可能已经安装了Docker，需要确认。数据准备部分，用户可能需要挂载数据集到指定目录，或者配置外部存储。比如，在AutoDL中，数据通常放在/root/autodl-tmp目录下，这样避免系统盘空间不足。需要提示用户注意数据路径的配置。配置调整方面，RAGFlow可能有配置文件，需要修改端口、模型路径、数据库连接等。例如，如果使用HTTP服务，可能需要开放7860端口，并在AutoDL中创建映射，以便外部访问。运行过程中，可能遇到依赖冲突，比如CUDA版本不匹配，或者缺少某些系统库。这时候需要根据错误信息，逐一解决。例如，安装ffmpeg或其他依赖项。测试部分，用户可能需要使用curl或浏览器访问服务，验证是否正常。如果部署失败，查看日志是关键，比如docker logs或者直接运行时的输出。另外，用户可能关心成本优化，比如选择按量计费还是预付费，实例类型的选择，以及停止实例以避免不必要的费用。需要提醒用户这些注意事项。最后，用户可能遇到问题，需要提供常见问题的解决方法，比如端口不通、依赖缺失、显存不足等。需要给出具体的解决思路，比如调整batch size，监控显存使用情况。总结下来，步骤应该是：准备环境、获取代码、安装依赖、配置调整、运行和测试，同时注意数据路径和成本管理。需要确保每个步骤都清晰，并且考虑到可能的错误点，提供解决方案。</think>以下是在AutoDL平台部署RAGFlow的分步指南： --- ### 一、部署前准备 1. **环境选择** - 选配GPU实例：推荐至少16GB显存（如RTX 3090/A10） - 镜像选择：Ubuntu 20.04 + PyTorch 2.0 + CUDA 11.8 - 硬盘空间：建议50GB+（数据集和模型缓存需额外空间） 2. **基础配置验证** ```bash # 连接实例后验证环境 nvidia-smi # 确认GPU识别 python -c "import torch; print(torch.cuda.is_available())" # 应输出True ``` --- ### 二、正式部署流程 #### 步骤1：获取代码 ```bash git clone https://github.com/infiniflow/ragflow.git cd ragflow ``` #### 步骤2：安装依赖 ```bash # 安装系统依赖 sudo apt update && sudo apt install -y libssl-dev ffmpeg # 安装Python依赖 pip install -r requirements.txt --extra-index-url https://download.pytorch.org/whl/cu118 ``` #### 步骤3：配置文件调整修改`config.yaml`关键参数： ```yaml model: cache_dir: /root/autodl-tmp/models # 指向数据盘 server: port: 7860 # AutoDL端口映射需一致 database: path: /root/autodl-tmp/ragflow.db ``` #### 步骤4：启动服务 ```bash # 启动API服务（推荐使用nohup） nohup python src/api_server.py > server.log 2>&1 & # 启动Web UI nohup streamlit run webui.py --server.port 8501 > ui.log 2>&1 & ``` --- ### 三、端口映射配置 1. AutoDL控制台操作： - 找到实例的"自定义服务"功能 - 添加两个映射： - 7860 → API端口 - 8501 → Web UI端口 2. 获取访问链接： ```bash cat /etc/nginx/conf.d/cloud.conf | grep -E '7860|8501' ``` --- ### 四、验证部署 1. **API测试** ```bash curl -X POST "http://localhost:7860/api/v1/query" \ -H "Content-Type: application/json" \ -d '{"question": "什么是机器学习？"}' ``` 2. **Web访问** 通过控制台提供的**临时域名**访问Web界面 --- ### 五、实用技巧 1. **数据管理** - 将原始文档放在`/root/autodl-tmp/uploaded_files` - 使用`rsync`定期备份数据 2. **资源监控** ```bash watch -n 1 nvidia-smi # 实时显存监控 htop # CPU/内存监控 ``` --- ### 六、常见问题解决 | 问题现象 | 解决方案 | |---------|---------| | CUDA内存不足 | 减小`config.yaml`中的`batch_size`参数 | | 端口冲突 | 检查`lsof -i:[端口号]`后kill占用进程 | | 依赖版本冲突 | 使用`pip install --force-reinstall`指定版本 | --- ### 七、成本优化建议 1. 使用`AutoDL-余额提醒`功能设置阈值 2. 非调试时段暂停实例 3. 优先选用**按量计费**实例类型部署完成后，建议通过`压力测试脚本`验证系统稳定性。完整日志可通过`tail -f server.log`实时查看。