玩人工智能的辣条哥
10多年通信、互联网IT农民工,不定时分享相关经验希望帮助更多的人。全息数字人管家项目联合创始人之一,开源项目:AI-Sphere-Butler(创意和设计全球首创)发起者,欢迎感兴趣的朋友们私聊!GitHub地址:https://github.com/latiaoge/AI-Sphere-Butler
展开
-
如何本地部署Qwen3系列的大小模型235B/32B并进行推理服务及并发测试?
Ubuntu 20.04环境下,本地部署Qwen3系列模型(如Qwen3-32B-FP8、Qwen3-235B-A22B-AWQ)并进行推理服务及并发测试的步骤如下:环境准备:创建模型文件夹并配置Conda源,使用清华镜像加速依赖安装。虚拟环境:创建并激活Conda虚拟环境,安装Python 3.10。依赖安装:安装PyTorch(CUDA 11.8)和vLLM推理框架,支持在线或离线安装。模型下载:使用ModelScope工具下载Qwen3系列模型。原创 2025-05-18 20:41:51 · 78 阅读 · 0 评论 -
如何对vllm模型推理框架,进行并发测试,看看能一次并发多少?
情况您脚本上会看到的表现并发未超限所有请求成功返回,响应时间合理并发轻微超限部分请求超时或失败,少量错误码出现并发大幅超限大量请求失败,超时异常,服务拒绝响应TOTAL_REQUESTS = 10 # 总共发送多少条请求,您可以改{"role": "user", "content": "你好,AI-Sphere-Butler是什么项目?= 200:print(f"[{idx}] 请求失败,状态码:{status}")原创 2025-05-19 01:00:00 · 123 阅读 · 0 评论 -
Llama factory如何全参数微调 Qwen2.5-7B-Instruct 模型并导入Ollama推理(详细版)
Ubuntu20.04Llama factoryQwen2.5-7B-Instructllama.cppH20 95GX2Llama factory如何全参数微调 Qwen2.5-7B-Instruct 模型并导入Ollama推理1. 全参数微调(Full Parameter Fine-tuning)全参数微调是指对预训练模型的所有参数进行更新,通常需要较高的计算资源和显存。根据不同的数值精度(如 bf16/fp16 或 pure_bf16),显存占用会显著不同参数说明:2. 显存占用对原创 2025-04-26 14:55:02 · 471 阅读 · 0 评论 -
Ragflow新建的知识库完成后刷新却没有显示,报错MethodNotAllowed: 405 Method Not Allowed:
debian12.8。原创 2025-04-26 11:16:23 · 207 阅读 · 0 评论 -
影刀RPA怎么和AI结合,制作自动采集小红书爆款文章+自动用AI改写标题、内容+用AI文生图生成发文图片+自动在小红书上发布文章
影刀5.26.24Win10专业版doubaowps。原创 2025-04-23 00:15:00 · 624 阅读 · 0 评论 -
如何用python脚本读取本地excel表格Workbook.xlsx将里面B2:B8内容,发给本地ollama大模型改写内容后写入对应C2:C8?
python3.10Win10专业版ollama火山引擎影刀。原创 2025-04-22 19:30:00 · 183 阅读 · 0 评论 -
如何在本地部署魔搭上千问Qwen2.5-VL-32B-Instruct-AWQ模型在显卡1上面运行推理,并开启api服务
如何在本地部署魔搭上千问Qwen2.5-VL-32B-Instruct-AWQ模型在显卡1上面运行推理,并开启api服务。13.保持后台运行,使用 systemd 制作系统服务(生产环境推荐)进入目标目录cd /mnt/program/Qwen2.5-VL。下载Qwen2.5-VL-32B-Instruct-AWQ模型。下载Miniconda(选择适合的版本)3.清除conda缓存(有问题才操作)上面安装不行就使用conda安装。8.验证CUDA可用性。安装logrotate。12.测试聊天和识图。原创 2025-04-03 21:23:49 · 1698 阅读 · 0 评论 -
服务器有2张显卡,在别的虚拟环境部署运行了Xinference,然后又建个虚拟环境再部署一个可以吗?
✅。原创 2025-04-03 19:30:00 · 278 阅读 · 0 评论 -
RAGFlow上传知识库,语义相近的问题无法正常识别回答,如何优化?
RAGFlow。原创 2025-03-31 21:20:06 · 238 阅读 · 0 评论 -
sd webui整合包怎么安装comfyui
sd webui整合包comfyui。原创 2024-11-25 19:46:42 · 458 阅读 · 0 评论 -
如何批量转换大模型训练数据集格式
大模型数据集如何批量转换大模型训练数据集格式,4千多条转换成数据都在train.txt稳定里面怎么把里面全部数据进行转换1.每行是一个 JSON 对象。可以编写一个 Python 脚本来读取这个文件中的每一行,将其转换为新的格式,然后将结果保存到一个新的文件中。以下是一个脚本,它会读取 文件中的数据,并将其转换为新的格式:说明读取原始数据文件:定义转换函数:读取 文件:转换数据:保存转换后的数据:完成原创 2024-09-28 23:16:27 · 414 阅读 · 0 评论 -
WSL2里面程序 访问不到宿主机的192.168.0.1的11434端口如何解决
WSL2ollama。原创 2024-09-02 16:46:46 · 1023 阅读 · 0 评论 -
用MQTT怎么控制HA里面的小米设备实体?
11.请注意,具体的配置参数和步骤可能会根据您的具体设备型号和 Home Assistant 版本有所不同。:在完成配置后,使用 MQTT 客户端工具(如 MQTTX)连接到您的 MQTT 代理,并尝试发布消息到插座的控制主题,检查插座是否按预期响应。:一旦配置完成,您就可以通过 MQTT 客户端向指定的主题发送消息来控制插座。:确保您的 MQTT 通信是加密的,使用 TLS/SSL 来保护您的智能家居设备安全。文件中设置 MQTT 集成。依次点击:配置——>集成——>点击右下角加号——>搜索MQTT。原创 2024-07-31 20:15:00 · 512 阅读 · 0 评论 -
在Win10中,如何将D盘压缩后产生的未分配空间扩展到C盘,无需重启电脑完成扩容
Windows 10专业版磁盘管理工具。原创 2024-05-10 00:15:00 · 7609 阅读 · 0 评论 -
异地两分部子网重复,如何远程更改其中一个分部子网信息
分部1:子网192.168.1.0/24分部2:子网192.168.1.0/24。原创 2024-04-12 22:45:48 · 366 阅读 · 0 评论 -
如何利用python 把一个表格某列数据和另外一个表格某列匹配 类似Excel VLOOKUP功能
Excel2016Win10专业版。原创 2024-03-25 22:45:00 · 1800 阅读 · 0 评论 -
天翼云防火墙配置端口转换案例
天翼云云墙。原创 2024-03-21 20:45:00 · 680 阅读 · 0 评论 -
天翼云和本地深信服防火墙如何建立Ipsec隧道
对端:天翼云本端: 深信服AF。原创 2024-03-17 03:00:00 · 386 阅读 · 0 评论 -
思科CISCO ASA 5555防火墙如何新增一条Ipsec隧道至深信服防火墙
(第一阶段,协商IKE)原创 2024-03-17 02:30:00 · 410 阅读 · 0 评论 -
IDC机房服务器搬迁之运行了几年的服务器没关过机,今天关机下架,再上架突然起不来了,怎么快速处理?
之前也做了方案B,万一起不来,还有备用机,计划尝试20分钟如果解决不了,就上备用机。原创 2024-01-11 22:33:09 · 856 阅读 · 0 评论 -
IDA pro软件 如何修改.exe小程序打开对话框显示的文字?
Win10 专业版.exe小程序。原创 2023-12-18 21:00:00 · 1059 阅读 · 0 评论 -
如何使用Mondo Rescue备份及恢复Linux系统(制作ISO镜像,成功恢复)
PVE 虚拟机。原创 2023-11-20 20:00:00 · 3273 阅读 · 0 评论 -
PVE Win平台虚拟机下如何安装恢复自定义备份Win系统镜像ISO文件(已成功实现)
Virtual Environment 7.3-3Win s2019UltraISO9.7USM6.0NTLite_v2.1.1.7917PVE虚拟机下如何安装自定义备份Win系统镜像文件方法一1.在需要备份的系统上使用SGI工具备份系统最后生成.wim文件2.用软碟通把.wim文件保存为.iso文件虚拟机加载两个光驱,到时挂载.iso备份文件和PE.iso文件3.使用魔术师生成PE iso文件4.到虚拟机上挂载这个文件5.然后开机选光盘启动进入PE环境6.PE下看到100G未分配的硬盘(如果你原创 2023-11-15 21:45:00 · 1776 阅读 · 0 评论 -
Win10 180天后怎么才能继续体验,自动保持续期,无需手动JH
Win10 专业版自制小程序。原创 2023-11-09 19:00:00 · 839 阅读 · 0 评论 -
2020款Macbook Pro忘了激活锁账户密码如何向苹果申请解锁(已成功解锁)
2020款MacBook Pro13.3八核M1/8G/256G。原创 2023-02-24 19:00:00 · 7941 阅读 · 0 评论 -
WinRAR CVE-2023-40477代码执行漏洞复现
WinRAR6.117z 23.01受影响版本。原创 2023-10-25 21:15:00 · 479 阅读 · 0 评论 -
本地数仓网络设备迁移实录
本地机房深信服防火墙A8.0.75H3C S6520-26Q-SI 交换机AIDC机房深信服防火墙B8.0.75H3C S6520 交换机B。原创 2023-10-21 19:50:52 · 211 阅读 · 0 评论 -
三层楼100-200人左右的办公网络如何规划设计实施开通并验收交付使用(实战案例)
如何设计组网1.采用防火墙+三层交换机+二层POE交换机+AP的方案2.三层交换机作为网络的核心,提供网络的配置、划分和各个VLAN间的数据交换,而每个VLAN由二层交换机组建3.网络主干设备的选型,建议网络主干设备或核心层设备选择具备第3层交换功能的高性能主干交换机。4.如果要求局域网主干具备高可靠性和可用性,还应该考虑核心交换机的冗余与热备份方案设计汇聚层或接入层的网络设备类型,通常选择普通交换机即可,交换机的性能和数量由入网计算机的数量和网络拓扑结构决定带宽需求百兆位以太网应该可以满足公司原创 2023-02-24 20:39:59 · 6554 阅读 · 0 评论 -
一键开启默认打印机共享功能,如何用powershell编写一个一键开启windows本地默认打印机共享的脚本
Win10 专业版Win11专业版powershell。原创 2023-09-28 22:15:00 · 870 阅读 · 0 评论 -
三层交换机与防火墙对接上网如何配置
1.三层交换机H3C S65202.防火墙深信服8.0.75。原创 2023-09-26 22:00:00 · 726 阅读 · 0 评论 -
H3C交换机如何配置本地端口镜像并在PC上使用Wireshake抓包
Win 10 专业版。原创 2023-08-16 11:36:55 · 3838 阅读 · 0 评论 -
绿盾控制台上如何更改终端上显示的用户名称不一致问题
绿盾控制台7.0绿盾客户端7.0。原创 2023-08-09 12:30:00 · 805 阅读 · 0 评论 -
绿盾用户使用看图软件每次都需要把图片解密之后才能打开查看,怎么才能不用这么麻烦打开就能看
Win10专业版绿盾控制台7.0看图软件FastStone Image Viewer。原创 2023-08-08 05:00:00 · 867 阅读 · 0 评论 -
CentOS7 主机双网卡怎么配置端口聚合(bond6模式)
组装机CentOS7网卡1:瑞昱普通千兆板载网卡网卡2:EB-LINK intel 82599芯片PCI-E X8 10G光模块千兆单模1310X1。原创 2023-07-13 21:30:00 · 2030 阅读 · 0 评论 -
CentOS7 主机万兆网卡配置端口聚合后如何与华为交换机连接并上网
CentOS 7网卡1:瑞昱普通千兆板载网卡网卡2:EB-LINK intel 82599芯片PCI-E X8 10G光模块千兆单模1310光模块千兆单模1310。原创 2023-07-08 00:00:00 · 1315 阅读 · 0 评论 -
如何为公司高层领导VIP,无感更换笔记本电脑(不重装系统)
1.旧电脑:HP pro book440CPU:8代I5Win10 专业版一个256G固态(系统盘)、一个500G机械硬盘2.新电脑:联想thinkpad E14CPU:12代i5一个500G固态,还有一个空固态硬盘槽位3.装机U盘4.usb ssd固态硬盘盒5.A梅分区助手。原创 2023-06-27 21:45:00 · 306 阅读 · 0 评论 -
分公司电脑系统坏了,如何远程进入电脑BIOS界面,进行设置和重装电脑系统?
联想E14笔记本Win10 专业版。原创 2023-06-08 18:30:00 · 2682 阅读 · 0 评论 -
离职员工不退还公司电脑,如何远程破坏注册表,让电脑蓝屏,无法正常使用电脑,保护硬盘资料
联想E14笔记本Win10 专业版BIOS已设密码F12开机boot启动菜单已设密码BitLocker磁盘已加密。原创 2023-05-19 22:15:00 · 540 阅读 · 0 评论 -
Ubuntu16.04.01 kswapd0 进程占用cpu很高,中了亡命徒(Outlaw)挖矿B毒
top看一下主机的资源使用情况kswapd0 是系统的虚拟内存管理程序,如果物理内存不够用,系统就会唤醒 kswapd0 进程,由 kswapd0 分配磁盘交换空间作缓存,因而占用大量的 CPU 资源。(copy)netstat -antlp|grep kswapd0tcp 0 0 192.168.31.230:45832 45.9.148.58:80 ESTABLISHED 28315/kswapd0netstat -antlp|grep -e原创 2021-05-17 17:38:35 · 1103 阅读 · 0 评论 -
Ubuntu18.04 进程和cpu占用都正常,中了kdevtmpfsi(B特B)挖矿M马B毒
Ubuntu物理机服务器SHA1文件大小3710448字节SHA256文件类型elf恶意类型挖矿病毒家族/团伙。原创 2022-08-02 20:00:00 · 2040 阅读 · 0 评论