fly-iot-CSDN博客

原创 cctv 还是有很多资源可以看的，不用在优酷上面搜索

cctv的《海峡两岸》大陆和台湾两边一起讨论台湾的问题，希望祖国早日统一。中央电视台惟一的涉台时事新闻评论栏目，节目宗旨是“跟踪海峡热点，反映两岸民意”。节目分为两个版块：第一个是“热点扫描”，主要报道当日和近期台湾岛内的热点新闻；第二个是“热点透视”，当日或近期涉台热点深度报道及两岸专家对此事的评论，并对两岸各个层面的交流交往进行跟踪报道。http://tv.cctv.com/l...

2018-01-16 17:55:48 2334

原创本站各种文章汇总

今后的时间讲精力放到 golang ，docker ，kubernetes 上面。以后云计算是方向。博客等级等级所需积分 V1 0 V2 100 V3 500 V4 1000 V5 2000 V6 5000 V7 10000 V8 30000 V9 50000 V10 100000 V11 200000 V12 300000 V1...

2017-04-06 20:40:48 1795

原创【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！

【代码】【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！

2024-07-06 23:54:17 413

原创【xinference】（14）：在compshare上，安装nvidia-docker工具，成功启动推理框架xinference-gpu的docker镜像，并运行大模型，非常简单方便！

Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便。然后就可以通过界面启动模型了，支持大语言模型，embedding模型，rerank等。UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。

2024-07-06 22:06:16 568

原创【linux】使用vnc连接远程桌面，需要安装tigervnc，并在服务端期待，然后在客户端使用tigervnc-viewer进行连接即可

【代码】【linux】使用vnc连接远程桌面，需要安装tigervnc，并在服务端期待，然后在客户端使用tigervnc-viewer进行连接即可。

2024-06-27 22:22:05 314

原创【compshare】（5）：使用UCloud(优刻得)的compshare算力平台，运行stable-diffusion-3-medium-comfyui镜像，可以进行文生图，使用简便，开箱即用

运行stable-diffusion-3-medium-comfyui镜像。通过浏览器访问: http://xxx.xx.xxx.xx:8188。已经有了最新的stable-diffusion-3镜像。镜像和模型都打包在里面了，直接开箱就用。还可以导入导出自己的配置。搜索各种提示词文案。用完记得关闭服务呢！

2024-06-27 09:08:36 476

原创【arduino】官方有了arduino plc 1.0.6版本的软件，只支持windows 版本的，也有 arduino plc 的硬件可以购买了，比较贵168元

一个是带显示屏的但是针脚少点。另外一个不带显示屏。但是带LED灯的。针脚多点。可以研究下。

2024-06-26 08:51:54 241

原创【arduino】使用最新版本的软件2.3版本，安装设备驱动，成功上传设备到ESP32中，使用超便宜的主板16元的arduino就可以进行开发

安装中，一个是arduino nano esp32 ，另外一个才是 esp32 的小板子。如果遇到失败的情况多实验几次就行了。点亮LED灯 pin 是2。

2024-06-26 08:09:13 287

原创【LocalAI】（13）：LocalAI最新版本支持Stable diffusion 3，20亿参数图像更加细腻了，可以继续研究下

SD3 Medium 可以根据用户输入的文本描述，重点克服了文生图模型中手部和脸部的挑战，生成足以乱真的的图像。SD3 Medium 还利用其底层的 Diffusion Transformer 架构，高精度地整合了文字元素。根据介绍，Stable Diffusion 3 Medium 模型规格参数达到了 20 亿，可以给用户带来更真实的图片体验。目前用户可以从 Hugging Face 上下载该模型。Stable Diffusion 3 Medium 正式开源。

2024-06-23 22:41:03 435

原创【xinference】（12）：目前最全大模型推理框架xinference，发布0.12.2版本，支持qwen2，glm4等主流大模型推理运行，可以对外提供标准的openai的API接口做服务

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。进行推理，降低延迟，提高吞吐！🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2。

2024-06-23 22:22:12 726

原创【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署大模型GLM-4-9B大模型，占用显存18G，速度不错，也挺智能的。

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署大模型glm4-9B-chat大模型，显存18G。是python3.12 版本造成的。

2024-06-07 08:55:56 924

原创【compshare】（4）：使用UCloud(优刻得)的compshare算力平台，新增加Llama-factory镜像，可以快速启动，非常方便，部署特别简单，效果不错，不用担心HF网络问题

库少了几个，可以向 compshare 反馈下。可以选择中文，进行参数修改。安装完成缺少的包之后，就可以启动成功了。

2024-06-05 22:28:11 221

原创【compshare】（3）：使用UCloud(优刻得)的compshare算力平台，新增加SD-webui和大模型镜像，可以快速启动，非常方便，部署特别简单...

新的镜像不错，简化了部署使用，更加的方便了。可以很快的搭建SD和大模型的平台了。

2024-06-05 09:40:25 397

原创【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型，api接口测试，速度不错，设备也非常精致！

【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型。默认的官方镜像已经配置好了ssh服务，可以直接远程登陆即可。直接使用root进行登陆就行。

2024-05-31 07:31:57 463

原创【xinference】（10）：在autodl上运行xinf和chatgpt-web配置联动，xinf运行qwen-1.5大模型做api后端，使用国内源解决nodejs安装问题。本地运行大模型方法

【xinference】（10）：在autodl上运行xinf和chatgpt-web配置联动，xinf运行qwen-1.5大模型做api后端。前端使用chatgpt-web，后端使用xinference 项目做api。第二个是 service ，里面有nodejs的服务接口。配置好环境变量就可以使用 npm 安装了。第一个是web 在当前目录。然后就可以启动成功了。

2024-05-31 07:20:39 355

原创【本地运行chatgpt-web】启动前端项目和service服务端项目，也是使用nodejs进行开发的。两个都运行成功才可以使用！

安装依赖，启动web。

2024-05-29 22:15:58 663

原创特别推荐！在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s

在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s空闲的时候，会被删除掉。数据不会被保存！单次最长10个小时使用！！

2024-05-29 09:02:15 486

原创【compshare】（2）：在compshare算力共享平台的主机上安装docker镜像和nvidia-docker方法，和普通ubuntu一样，安装好驱动之后安装nvidia-docker2即可

选择ubuntu 镜像和设置密码，可以设置随即。

2024-05-26 22:41:02 177

原创【compshare】（1）：推荐UCloud(优刻得)一个GPU按小时租的平台，使用实体机部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特别方便

专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。需要选择 ubuntu 版本，可以支持最高 12.4 的cuda驱动。测试qwen 大模型速度。因为运行的方式不一样，不使用了需要删除应用。但是界面启动后需要等待下驱动安装。模型之能运行一个，重启再运行即可。下载速度还是非常快的。否则还是会产生费用。是独享的模型创建的。

2024-05-26 20:40:08 589

原创【LocalAI】（12）：本地使用CPU运行LocalAI，测试研究，语音模型已经切换到了hugging faces上了，测试zh_CN-huayan-medium.onnx中文合成成功！！

【代码】【LocalAI】（12）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型，文字转语音（只支持英文）

2024-05-18 22:06:00 302

原创【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型，文字转语音（只支持英文）

【代码】【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。

2024-05-18 16:57:49 452

原创【OrangePi】（1）：香橙派联合华为精心打造OrangePi AIpro(8T)的硬件，搭载昇腾AI芯片，8TOPS算力...

树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s。硬件还是不错的，也是arm的芯片。理论上可以支持 localai的代码运行。不知道 OrangePi AIpro(8T) 的性能咋样了。香橙派联合华为精心打造，建设人工智能新生态。ubuntu使用的是22.03 的镜像。

2024-05-07 23:26:33 312

原创【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功

LocalAI的项目里面的embedding 是 bert embedding.不支持BGE 模型，有大神给改造支持了BGE的模型了。

2024-05-01 13:27:47 430

原创【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型

【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。替换了镜像里面的aio 文件夹。把模型都使用国内镜像进行下载地址替换了。使用了modescope 下载地址。

2024-05-01 12:44:21 768

原创【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84 tokens / s

【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。24G的显存占用了 18G,同时速度还可以。配置成功之后就可以启动了。

2024-04-20 23:55:23 1607 1

原创【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G，原来是cuda-11版本的原因

cuda的硬件版本是 12.4 比如 4090D 的，可以使用local-ai-cuda12-Linux-x86_64 版本。其他的情况，比如 cuda 是12.2 或这 11.8 的情况。就只能使用local-ai-cuda11-Linux-x86_64 的版本了。

2024-04-20 16:45:49 423

原创【LocalAI】（3）：LocalAI本地使用Model gallery，对qwen模型进行配置，使用modescope源下载，本地运行速度快。特别简单！

在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。本身localai的后端实现就是 llama.cpp ，所以也可以支持qwen大模型。modelscope.cn 进行下载，速度会更快。支持gguf的量化版本。

2024-04-09 09:07:38 624

原创【LocalAI】（3）：终于研究明白了！超级简单！在linux上使用一个二进制文件LocalAI，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明

【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。

2024-04-09 09:00:21 701

原创【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。

2024-04-02 23:00:42 1355 1

原创【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协议，超级棒的方案

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协。在autodl上下载项目主要是安装。启动访问之后可以进行安装各种软件了。启动Xinference服务。

2024-04-02 22:36:55 2616 2

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

预训练模型技术实践.pdf

搜狗拼音输入法 sogoupinyin-2.3.1.0112-amd64.deb 老包

goland-2018.2.3.good.tar.gz.ab

goland-2018.2.3.good.tar.gz.aa

arduino-1.8.11-macosx.zip（macos）

arduino-1.8.11-linux64.tar.xz（linux64）

arduino-1.8.11-linuxaarch64.tar.xz（arm64）

arduino-1.8.11-windows.exe（windows）

空空如也