freewebsys的专栏

【代码】【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！

Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便。然后就可以通过界面启动模型了，支持大语言模型，embedding模型，rerank等。UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。

运行stable-diffusion-3-medium-comfyui镜像。通过浏览器访问: http://xxx.xx.xxx.xx:8188。已经有了最新的stable-diffusion-3镜像。镜像和模型都打包在里面了，直接开箱就用。还可以导入导出自己的配置。搜索各种提示词文案。用完记得关闭服务呢！

SD3 Medium 可以根据用户输入的文本描述，重点克服了文生图模型中手部和脸部的挑战，生成足以乱真的的图像。SD3 Medium 还利用其底层的 Diffusion Transformer 架构，高精度地整合了文字元素。根据介绍，Stable Diffusion 3 Medium 模型规格参数达到了 20 亿，可以给用户带来更真实的图片体验。目前用户可以从 Hugging Face 上下载该模型。Stable Diffusion 3 Medium 正式开源。

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署大模型glm4-9B-chat大模型，显存18G。是python3.12 版本造成的。

库少了几个，可以向 compshare 反馈下。可以选择中文，进行参数修改。安装完成缺少的 包之后，就可以启动成功了。

新的镜像不错，简化了部署使用，更加的方便了。可以很快的搭建SD和大模型的平台了。

选择ubuntu 镜像和设置密码，可以设置随即。

专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。需要选择 ubuntu 版本，可以支持最高 12.4 的cuda驱动。测试qwen 大模型速度。因为运行的方式不一样，不使用了需要删除应用。但是界面启动后需要等待下驱动安装。模型之能运行一个，重启再运行即可。下载速度还是非常快的。否则还是会产生费用。是独享的模型创建的。