- 博客(37)
- 收藏
- 关注
RSS订阅原创 【Hy-SimulMT 实战】双卡 RTX 3090 部署 30B 同传大模型
本文记录在双卡RTX 3090上部署腾讯混元开源的30B同传大模型Hy-SimulMT-30B-A3B-Interleave-FP8的实战过程，重点解决显存不足与网页服务识别FP8模型失败两大问题。通过设置--max-model-len 32768降低KV Cache占用，成功启动服务。实测表明，该配置可在消费级硬件上实现低延迟流式翻译，为实时同传应用提供可行方案。
2026-11-04 10:34:44
11
原创 Nemotron-3.5-ASR-Streaming-0.6B模型中文微调实战
本文记录NVIDIA Nemotron-3.5-ASR-Streaming-0.6B流式语音识别模型中文微调实战，基于AISHELL-1数据集与单卡RTX 3090，涵盖环境搭建（含numba-cuda踩坑）、数据预处理、配置微调与排错，提供实测可复现的完整流程，帮助读者1~2天跑通微调实验。
2026-09-01 18:34:58
389
原创 【方言语音识别与翻译实战】：吴语/粤语/川渝方言评测
本文介绍了基于Qwen3-ASR的中文方言语音识别与翻译实践方案。使用WenetSpeech开源数据集（涵盖吴语、粤语、川渝方言），采用Qwen3-ASR-1.7B作为语音识别基础模型，结合Qwen3-8B-AWQ大语言模型构建"ASR识别+文本翻译"级联方案。详细说明了三种方言评测集的数据处理方法，特别是吴语数据集的双任务标注特性，并展示了如何构造联合评测集用于端到端评估。该方案为方言语音技术的产业化落地提供了可复现的技术路径。
2026-08-14 11:58:33
591
原创 【NVFP4 量化实战】llm-compressor 离线量化+vLLM 原生部署
NVFP4 是 Blackwell 时代高精度量化的代表性方案，尤其适合对模型效果要求严苛、已经完成硬件升级的业务场景。依托 llm-compressor 与 vLLM 的原生生态，我们不需要复杂的格式转换与算子适配，即可完成从微调模型到 4bit 浮点量化部署的全流程，在显存减半的同时最大程度保留模型的业务效果。
2026-08-10 13:57:27
333
原创 【量化实战】基于LLMCompressor一键落地vLLM部署
本文介绍了针对自定义hy_v3架构MoE翻译大模型Hy-MT2-30B-A3B的量化方案，解决了GGUF格式不兼容的问题。通过采用Neural Magic的LLMCompressor+Compressed Tensors技术栈，实现了纯CPU环境下的W4A16量化（权重4bit+激活16bit），并保持与vLLM的原生兼容性。文章详细分析了GGUF方案的局限性，阐述了W4A16+RTN量化策略的优势，提供了完整的量化代码实现，包括环境配置、模型加载、量化配方设置和结果保存等关键步骤。
2026-06-30 10:36:05
358
原创 Linux 系统下 PostgreSQL 数据库常用操作完全指南：从入门到精通
本文为Linux系统下PostgreSQL数据库操作指南，涵盖从基础到进阶的全面内容。主要内容包括：PostgreSQL服务管理（systemctl命令）、数据库连接方式（psql命令）、数据库级操作（创建/删除/切换数据库）、表级操作（建表/查询/结构查看）等核心功能。重点介绍了实用技巧如查看和终止连接、数据导入导出、事务管理和执行计划分析，并提供了安全与性能优化建议。文章还包含不同Linux发行版的注意事项和常见问题排查方法，适合开发者和运维人员快速掌握PostgreSQL的日常操作与维护要点。
2026-06-10 14:00:41
253
原创 【Google Stitch】AI原生画布重新定义设计，让想法变成可交互界面
Google Stitch是由Google实验室开发的AI原生设计工具，旨在简化UI设计流程。它通过自然语言输入快速生成高保真网页或移动应用界面，并支持导出可交互原型和生产级代码。核心功能包括AI原生无限画布、多模态输入、智能设计助手、一键生成原型与代码，以及自动设计系统管理。Stitch适合产品经理、开发者、创业者等非设计专业人士快速验证想法，也为设计师提供高效初稿生成工具。目前完全免费，用户只需通过Google账户登录即可使用。这一工具重新定义了设计流程，让创意到实现的路径更加高效流畅。
2026-05-21 16:49:47
848
4
原创 Go语言安装与使用
Go语言是由Google开发的开源编程语言，具有简洁高效的特点，支持并发编程和模块化开发。本文介绍了Go的安装方法：在Linux系统可通过apt install golang-go或yum install golang安装。运行方式包括开发调试时直接使用go run main.go，以及推荐的生产环境编译方式go build -o myapp main.go后运行生成的二进制文件。Go语言编译快速，具有垃圾回收机制和强大的反射功能，适合构建高性能应用程序。
2026-04-30 13:30:10
69
原创 【语音标点恢复】FireRedPunc与FunASR-Punc使用及评测
本文对比评测了两种语音标点恢复模型FireRedPunc和FunASR-Punc。FireRedPunc基于BERT架构，支持中英文标点预测；FunASR-Punc采用Controllable Time-delay Transformer框架，专攻中文标点预测。文章详细介绍了两种模型的使用方法，并在IWSLT2012-zh和CDCPP测试集上进行了评测。评测指标采用F1分数，包含精确率和召回率的计算实现。实验结果表明FireRedPunc在标点恢复任务上表现更优。
2026-03-24 19:03:14
545
原创 【OpenClaw】本地部署教程
本文介绍了使用Docker部署OpenClaw的详细步骤：首先拉取镜像并启动容器，配置网关端口和网络绑定；然后建立浏览器连接，通过SSH隧道访问控制界面；接着完成设备配对授权；最后配置大模型API参数并设置为默认模型。部署过程强调安全性，使用最小权限原则，并提供了完整的命令行操作指南和参数说明。
2026-03-18 11:47:12
567
原创 【OpenClaw】基于火山引擎和飞书部署 OpenClaw 教程
本文提供了在火山引擎和飞书平台上部署OpenClaw机器人的详细教程。主要内容包括： 在火山引擎创建ECS服务器，选择按量计费或包年包月方式，配置安全防护和登录密码。 开通方舟大模型服务，获取Model ID和API Key等必要配置信息。 在飞书平台创建应用并添加机器人能力，配置所需权限，包括消息读写、卡片操作等基础权限。 教程提供了详细的截图指引，帮助用户快速完成OpenClaw机器人的部署配置。
2026-03-12 14:41:38
2546
原创 【MOSS-TTS】一款适用于实际应用的TTS基础模型
MOSS-TTS是由MOSI.AI和OpenMOSS团队推出的开源语音生成模型家族，专注于声音克隆、超长稳定语音生成、词元级时长控制等特性。该模型支持20种语言，提供8B和1.7B两种架构版本，以及1.6B的音频标记器。用户可通过ModelScope、GitHub或Hugging Face获取模型，并支持安装FlashAttention 2以提升性能。环境配置简单，支持CUDA加速，提供详细的安装指南和测试代码示例。
2026-03-11 17:05:03
1427
原创 Ubuntu镜像源更新
本文介绍了Ubuntu系统及阿里云镜像源的配置方法。主要内容包括：1）Ubuntu系统简介及阿里云镜像下载地址；2）针对x86架构系统的配置指南，需修改/etc/apt/sources.list文件；3）提供了多个Ubuntu版本（14.04-22.04 LTS）的详细镜像源配置模板，包含main、restricted、universe等组件库的地址。配置完成后需运行apt-get update命令更新源。注意ARM架构需使用ubuntu-ports专用源。
2026-03-11 09:04:21
273
原创 Anaconda使用教程
本文介绍了Anaconda的基本使用方法。首先说明如何从官网下载安装包并在Linux系统下执行安装命令。其次详细讲解了如何修改镜像源配置文件.condarc，包括各系统下的文件路径、配置示例以及注意事项。最后演示了Python环境的创建与管理，包括创建指定版本的环境、激活环境以及删除环境的命令。文中还提供了清华镜像源的配置示例，帮助用户提升下载速度。
2026-03-10 12:06:20
250
原创 【FireRedASR2S】一款最先进的工业级一体式语音识别系统
FireRedASR2S是一款先进的工业级一体化语音识别系统，整合了语音识别(ASR)、语音活动检测(VAD)、语种识别(LID)和标点预测(Punc)功能。该系统在多项测试中表现优异：ASR模块支持中文(含20+方言)、英语及混语识别，普通话平均错误率2.89%；VAD模块支持100+语言检测，F1分数达97.57%；LID模块准确率97.18%；Punc模块平均F1分数78.90%。提供LLM和AED两种架构版本，性能均超越主流竞品。系统已开源并提供模型下载。
2026-03-03 14:41:49
1334
原创 【FIreRedASR-AED】ONNX改造与Beam Search过程优化，速度提升37%
FireRedASR是一个开源工业级自动语音识别模型家族，支持多种语言和方言。其中FireRedASR-AED模型采用注意力编码器-解码器架构，在中文ASR基准测试中达到SOTA水平。项目对原始模型进行了ONNX转换和优化，通过实现完整的Beam Search缓存机制，显著提升了CPU推理速度（提升38.7%），同时保持识别准确率。优化后的模型在AISHELL-1测试集上CER为0.5527%，推理时间从2.49秒缩短至1.53秒，内存占用约6.2GB。
2026-02-28 15:33:39
446
原创 【FireRedASR-AED】目前性能最好的开源中文ASR模型
FireRedASR-AED是一款高性能开源中文语音识别模型，采用Conformer编码器和Transformer解码器的混合架构。其编码器通过下采样模块和16个Conformer块处理语音特征，结合多头自注意力与相对位置编码；解码器使用标准Transformer结构实现序列转换。该模型在普通话ASR基准测试中达到SOTA水平，同时支持方言和英语识别，兼具计算效率与识别性能优势，适合工业级应用。相关资源已开源，包括论文、模型权重和在线演示。
2026-02-11 17:15:29
733
原创 【个人使用】常用命令
本文总结了Linux系统常用命令操作指南，主要包括：1) 查看Ubuntu系统版本的lsb_release命令；2) tar.xz文件解压方法；3) 大文件分割与合并的split/cat命令；4) 支持断点续传的rsync文件传输方案；5) zip加密压缩操作；6) Git令牌更新流程。涵盖了系统信息查询、文件处理、数据传输和版本控制等常见运维场景，提供完整命令行示例，适合Linux用户快速查阅使用。
2026-01-20 13:17:23
255
原创 Linux NAS 迁移避坑指南：放弃 chown -R，ID 映射让权限配置秒完成
本文介绍了Linux NAS数据迁移中的权限管理优化方案。传统使用chown -R递归修改权限的方法在TB级数据迁移时效率低下且易出错，文章提出通过ID映射实现权限无缝继承的方案。具体步骤包括：1)检查NAS挂载状态和原始文件UID/GID；2)使用groupadd -g和useradd -u精准创建匹配ID的用户组和用户；3)验证权限自动继承效果。该方法避免了大规模权限修改，通过反向适配ID实现秒级权限配置，显著提升迁移效率并降低出错风险。文末配有迁移前后对比图，直观展示数字ID成功映射为用户名的效果。
2025-12-01 13:21:04
494
原创 实时语音转写大模型API对比
本文对比了豆包和讯飞两大实时语音转写大模型API，从准确率、功能、费用等方面进行分析。测试结果显示豆包准确率最高（4.8分），支持中英+5种方言，价格2.4-4元/小时，企业用户享有20小时免费时长；讯飞支持更多方言但准确率较低（1分），价格2-4.95元/小时。功能上讯飞支持角色分离和16个领域，豆包不支持。综合推荐豆包API，其流式异步模式识别效果稳定，更适合企业应用场景。
2025-11-13 09:11:02
1714
原创 主流语音端点检测（VAD）模型对比：FSMN-Monophone、Silero 与 pyannote 性能测试与分析
本文对比测试了三种主流语音端点检测（VAD）模型：FSMN-Monophone VAD、Silero VAD和pyannote/segmentation-3.0。MAGICDATA-RAMC和WenetSpeech数据集上的测试结果显示：FSMN在召回率和处理速度上表现最优（F1达0.9584，平均耗时3.1565秒），适合高实时性ASR场景；Silero精确率最高（0.9890），但召回率较低，适合低噪音敏感场景；segmentation-3.0性能均衡（F1 0.9513），适合通用语音处理。
2025-09-24 22:48:44
1999
原创 【vLLM 最新版v0.10.2】docker运行openai服务与GGUF量化使用方式
本文介绍 vLLM v0.10.2 版本通过 Docker 运行 OpenAI 服务及 GGUF 量化的使用方式，明确该量化不支持多模态模型，且仅节约显存、不提升速度。GGUF 量化需要 llama.cpp 环境，接着将 Hugging Face 模型转为 FP16 格式 GGUF，再量化为 Q4_0 等类型（文中列多种支持的量化类型），最后通过 Docker 启动量化后的模型，同样提供了测试请求与返回结果示例。
2025-09-22 23:27:06
1139
原创 【ASR数据集】中文语音ASR测试集
本文汇总了多个中文ASR测试数据集的基本信息，包括AISHELL-1、AISHELL-2、WenetSpeech、Common Voice、MAGICDATA-READ和MAGICDATA-RACM。提供了各数据集的论文链接、测试集规模等关键信息。详细介绍了每个数据集的数据来源、展示了测试集提取方式以及数据集处理代码样例，如音频路径和文本标签的提取方法。这些标准化的测试集对中文语音识别系统的评估和比较具有重要意义。
2025-09-18 19:49:03
3847
原创 【ASR数据集】中文方言ASR数据集KeSpeech实测：开源模型对决，FireRedASR性能遥遥领先！
KeSpeech数据集覆盖普通话及北京、西南、中原、东北、兰银、江淮、冀鲁、胶辽宫8 种方言。在开源 ASR 模型测试中，中文以字错误率（CER）为指标，FireRedASR 表现最优，总 CER 仅 4.7511，显著优于其他模型；Qwen2-Audio、Paraformer、Dolphin 性能相近，总 WER 在 11-13 区间；Whisper 与 PaddleSpeech 表现较弱，总 WER 超 34。印证了 FireRedASR 在中文方言识别领域的优势。
2025-09-15 22:45:59
4697
2
原创 【docker使用指南】容器导出-镜像载入-容器创建
本文介绍了Docker容器的导出、镜像载入及容器创建流程。容器导出分为save（基于镜像，保留完整配置）和export（基于容器，仅文件系统快照）两种方式。镜像载入对应使用load和import命令。容器创建通过docker run实现，支持后台运行、端口映射等参数配置。文章详细说明了各步骤的具体操作命令和适用场景，帮助用户快速掌握Docker容器迁移与部署的关键技术。
2025-09-10 19:29:59
918
原创 【语音语种识别】faster-whisper实战：四行代码搞定，附详细测试结果
本文介绍了使用faster-whisper进行语音语种识别的实战方法。faster-whisper是基于OpenAI Whisper模型的优化版本，推理速度提升4倍，内存占用更低。Fleurs是由Google推出的语音数据集，作为机器翻译基准数据集FLoRes的语音拓展版本，专门用于语音相关任务的模型训练与评估,有102种语言。展示整体的测试脚本和细节介绍，最终测试结果整体正确率62.78%；真实正确率93.58%（不记无测试数据和完全错误的语种）。
2025-09-02 21:24:09
1551
原创 搭建自己大模型【DeepSeek】应用（Ollama+Dify）
基于Dify+Ollma部署DeepSeek-R1 32B。Ollama可以通过docker快速部署deepseek-r1:32b模型。Dify可以快速搭建基于deepseek大模型的聊天机器人。本文首先详细介绍了如何使用Ollama部署自己的大模型服务。然后详细介绍了Dify的安装与使用，并且详细介绍了如何配置自己的聊天机器人。
2025-03-11 10:12:23
1358
3
原创 centos7安装docker和docker compose
centos7安装docker和docker compose，docker可以使用GPU
2025-03-06 18:28:28
611
1
原创 机器翻译评价——COMET环境安装（GPU版本）
COMET，一个用于评价机器翻译性能的工具。COMET安装GPU版本遇到的问题及解决办法，并提供运行示例
2025-02-14 18:23:04
3024
4
原创 whisper相关项目的安装与使用
whisper是一种通用的语音识别模型。它在不同音频的大型数据集上训练。它也是一个多任务模型，可以执行多语种语音识别、语音翻译语音语种识别。openai-whisper的安装与使用faster-whisper的安装与使用并对比了两个项目
2024-12-25 17:08:39
1161
原创 WAV音频文件解析与Python读取
WAV音频文件解析与Python读取本文相似解析了WAV格式的头部信息，并用Python通过wave或者struct模块解析并读取WAV音频内容。WAV（波形声音文件）是最常见的声音文件格式之一，是微软公司专门为Windows开发的一种标准数字音频文件，该文件能记录各种单声道或立体声的声音信息，并能保证声音不失真。
2024-12-19 19:24:40
2013
原创 vLLM使用教程【最新版（V6.0.1.post1）】
vLLM最新版（V0.6.1.post1）beam search方式的使用教程，介绍BeamSearchParams，BeamSearchOutput，BeamSearchSequence，并给出sampling和beam search的示例程序
2024-12-03 15:09:50
3833
原创 vLLM环境安装与运行实例【最新版（0.6.4.post1）】
vLLM环境安装与运行实例，vllm最新版本0.6.4.post1 一种是基于CUDA11.8的环境，一种是基于CUDA12.1的环境，可以使用sampling和beam search
2024-12-01 17:21:39
15538
9
原创 vLLM使用教程【V5.0.4】
vLLM使用教程，包括vLLM相关参数说明：LLM、SamplingParams、generate、RequestOutput、RequestOutput、CompletionOutput、RequestMetrics。以及vLLM使用demo，统计执行的时间和速度
2024-11-21 16:12:52
3889
原创 vLLM环境安装与运行实例【v0.5.4】
vLLM环境安装与运行实例【v0.5.4】，vllm需要使用v5.0.4版本，否则使用yTorch报错
2024-11-19 11:15:09
2170
原创 fairseq-0.12.2多机训练环境搭建
fairseq-0.12.2多机训练环境搭建，其中包括gcc、CUDA、cuDNN、NCCL、Python、PyTorch、fairseq等相关软件在非root环境下安装
2023-11-13 11:11:38
2285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人