- 博客(149)
- 收藏
- 关注
原创 走到哪讲到哪,一位跟着你走的AI导游 - 云游如何用端到端具身交互智能让山水开口说话
这是一张图片,ocr 内容为:打开一个网页,地图上六个景点星罗棋布。你的位置靠近西湖断桥,还没来得及点击,右侧的 AI 导游已经微笑着开口:"您现在站在西湖断桥之上。这座桥虽然不长,却承载了千年的浪漫传说。让我给您讲讲白娘子和许仙在这里相遇的故事……“你好奇追问一句"那断桥这个名字到底怎么来的?”,导游不假思索地接上了话题。这不是预录好的语音导览。屏幕上的这位「云游」,是由端到端具身交互智能驱动的具身交互智能体——她能感知你的位置、能听你的提问、能想该怎么讲、还能配合讲解内容自然地做出表情和手势。
2026-09-29 09:45:17
16271
67
原创 问配置即对比,看车模即讲解——云览如何用端到端具身交互智能重新定义 4S 店 AI 导购
这是一张图片,ocr 内容为:走进一家 4S 店,三款车型一字排开——轿车、SUV、MPV。你坐进星澜 S7 Ultra 旗舰的座舱,好奇问了一句:"Ultra 和 Max 差在哪?"展厅大屏上的 AI 导购"云览"应声开口:"Ultra 多了空气悬架和四座按摩,适合长途通勤较多的行政座舱需求。"与此同时,屏幕上两版配置的差异行自动高亮,轮毂从 20 英寸放大到 21 英寸锻造,激光雷达从 1 颗升级到 2 颗——你还没走到配置表前,答案已经摆在眼前。这不是预录好的话术轮播。屏幕上的云览,是由。
2026-09-28 23:07:40
16379
60
原创 懂你的情绪,记得你在意的事 - 知暖如何用端到端具身交互智能重构 AI 情感陪伴
知暖的首页不是一个空白页,而是一个完整的产品介绍——Hero 区展示核心理念"感知你的情绪温度,记住你在意的一切",核心能力卡片、工作流程、使用场景、对比表、用户心声、FAQ,让用户在进入对话之前就理解知暖的价值。
2026-09-28 23:04:12
16364
60
原创 每一次缓慢抬起,都值得一位不催你的陪伴者:舒衡以端到端具身交互智能辅助坐姿康复训练
术后第一周,患者坐在床沿,试着缓慢弯曲手臂。没有教练在场,没有治疗师纠正姿势——只有手机上一段录好的示范视频在循环播放。弯得太多?视频不会提醒。速度太快?视频不会喊停。动作做反了方向?视频根本看不到。舒衡(SHUHENG)是一位永远不催你加速的 AI 康复训练辅助。她通过摄像头在本地识别你的姿态,实时纠正姿势、计数、提醒节奏;当你有疑问时,右侧的具身交互智能讲解员即时解答,训练自动暂停等你回来。全程摄像头画面不上传、不录制。本文以舒衡为实战样本,拆解一个康复训练辅助应用如何基于魔珐星云。
2026-09-28 23:03:06
15947
53
原创 鸿蒙PC平台 Dolphin 文件管理器适配实战:从 Linux KDE 到 HarmonyOS 的 Electron 迁移指南
<span>确认</span></div>${escapeHtml// 确认对话框 function confirmCustom(msg) {<div class="modal-header"><span>确认</span>
2026-09-12 12:29:16
10698
51
原创 鸿蒙PC平台 Goby 网络资产测绘工具适配实战:基于 Electron 壳方案的真实 TCP 扫描与漏洞检测引擎开发
零依赖设计:扫描引擎仅使用 Node.js 内置的 net/http/dns 模块,无需 npm 安装任何第三方包,天然兼容鸿蒙沙盒环境真实协议交互:8 条漏洞检测规则全部基于真实 TCP/HTTP 协议交互,不使用模拟数据,确保扫描结果可验证并发控制策略:默认并发 10 + 主机间 50ms 调度间隔,在扫描效率与鸿蒙平台稳定性之间取得平衡防重入机制:所有 Socket 回调统一使用 done 标志防重入,避免 close/timeout/error 事件交叉触发导致的双重回调。
2026-09-12 12:27:44
10752
51
原创 鸿蒙平台 Apache Tomcat 管理控制台适配实战:基于 Electron 壳方案的真实 HTTP 服务器实现
本文完整记录了 Apache Tomcat Manager 控制台在鸿蒙 PC 平台的适配过程。技术点方案服务端实现Node 内置 http 模块(零外部依赖)端口策略8080 优先 + EADDRINUSE 自动候选重试会话跟踪JSESSIONID 双通道(URL 重写 + Set-Cookie),30 分钟超时部署语义服务端校验 + 重名替换 + 真实路由注册(精确 + 前缀匹配)运行时统计访问日志方法/路径/状态码/字节数/耗时,4xx 记 WARN、5xx 记 ERROR。
2026-09-12 12:26:44
10595
52
原创 当战术教官住进道具库:三角洲行动具身交互智能解读系统实战手记
本文以一份完整的「战术档案」形式,记录如何基于魔珐星云 XmovAvatar SDK 的参数流架构,使用 React + Vite 从零搭建一个面向 FPS 游戏场景的具身交互智能应用——「三角洲行动 · 道具解读」。文章涵盖魔珐星云控制台配置、数字人形象定制、SDK 前端集成、道具数据建模与语音播报联动等全链路开发流程。通过本文,读者可以了解游戏场景下具身交互智能的轻量化落地方案:数字人战术教官「战析」实时解读 24 种武器 / 装备 / 消耗品 / 大红物资,点击即播报,属性可视化,一局不掉队。
2026-08-27 22:38:56
15816
130
原创 具身智能落地实战:数字人驱动的全自动化舆情监控系统
本文介绍了一个创新的舆情监控系统,通过数字人替代传统人工值守,实现数据从"被看"到"被听"的转变。系统采用魔珐星云控制台配置数字人形象、场景和交互参数,结合Flask+Jinja2全栈开发,构建了包含数据看板、预警管理和采集配置的智能舆情战情室。核心代码通过228行原生JS实现数字人服务中枢,具备连接管理、语音播报和实时打断功能。该方案解决了传统舆情监控系统信息过载、注意力碎片化的问题,让数字人作为具身交互智能入口,主动播报关键发现和预警高危事件,提升监控效率。
2026-08-17 23:38:34
17589
129
原创 基于具身交互智能数字人,我用Flask搭了一个AI教学平台:课代表AI全流程实战
摘要:本文介绍了基于魔珐星云数字人平台开发"课代表AI"教学视频生成系统的全流程实践。项目通过配置数字人形象、音色和虚拟场景,结合SSML脚本快速生成教学视频,并使用Flask搭建展示网站。系统采用极简架构(仅2个核心文件),实现从文案输入到视频生成的一站式解决方案,有效解决了传统教学视频制作成本高、周期长的问题。技术方案包含数字人平台配置、SSML脚本编写、视频生成及网站集成等关键环节,最终呈现一个专业美观的蓝紫主题教学展示页面。
2026-08-12 12:44:36
22915
108
原创 不止树洞,更能成画:具身交互智能驱动的情绪记忆胶囊(Mood Capsule)设计与工程全记录
本文介绍了一款名为Mood Capsule的情绪可视化产品,通过数字人"情绪调香师"小澄与用户对话,将抽象情绪转化为具象的艺术作品。文章详细阐述了产品设计理念、技术实现和视觉系统: 产品核心是让情绪可视化、可留存,通过数字人交互将用户倾诉转化为治愈系画作 技术采用React+Vite架构,实现框架无关的数字人单例系统 视觉设计以极光蓝、紫雾色系为主,打造克制的科技治愈感 数字人形象通过魔珐星云平台配置,具备自然的表情和语音交互能力 该产品突破了传统情绪AI的纯文本交互模式,创造了一种全新的情绪表达与留存方式
2026-08-06 19:10:05
18709
119
原创 【金仓数据库征文】金仓数据库高可用集群实战:读写分离、故障切换与运维管理
摘要 本文详细介绍了金仓数据库高可用集群的实战部署与管理,重点涵盖三个核心方面:架构设计、读写分离配置和故障切换机制。在架构设计部分,展示了主备复制的参数配置、备库搭建流程和复制状态监控方法。读写分离配置章节提供了Nginx负载均衡设置和应用层实现方案,并包含复制延迟监控函数。故障切换部分则给出了自动检测脚本、主备切换流程和原主库恢复方案,确保系统高可用性。全文以实际操作为导向,包含大量配置示例和脚本代码,适合数据库管理员参考实施。
2026-08-05 12:35:13
15315
110
转载 Trae + 魔珐星云:快速做出真正懂交互的健康咨询 Agent
本文探讨了数字人技术在健康咨询领域的应用挑战与解决方案。文章指出当前数字人交互存在三个核心问题:高延迟(2-5秒)、无法实时打断、表情动作僵硬,并分析了传统视频流架构的技术局限。作者提出魔珐星云的参数流架构创新,通过将视频渲染从云端下沉到终端,实现≤500ms的端到端延迟和KB级数据传输,同时支持千万级并发。实战部分展示了如何结合Trae代码生成、豆包大模型和魔珐星云SDK快速开发具备具身交互能力的健康咨询数字人,包括项目结构设计、SDK集成、对话流程实现等关键环节,为数字人从原型到产品的落地提供了可行路径
2026-06-30 16:43:04
141
原创 Windows 鸿蒙 PC 应用开发:Electron 桌面级电子书阅读器开发实战指南
摘要:本文详细介绍了在HarmonyOS PC环境下基于Electron框架开发桌面应用的全流程,重点以电子书阅读器为例,涵盖环境搭建、项目架构设计、核心模块实现及关键技术方案。文章首先解析了鸿蒙Electron工程目录结构(包含lib.unstripped调试库与ohos_hap壳工程),详细说明DevEco Studio配置调试签名、USB连接真机调试的完整步骤。随后展示电子书阅读器项目如何将Web技术栈(HTML5/CSS3/JavaScript)与Electron结合,通过LocalStorage实
2026-06-06 14:30:10
15496
157
原创 鸿蒙PC平台 Carnac 按键显示适配实战:从 Windows 到 HarmonyOS 的 Electron 迁移指南
本文介绍了将 Windows 平台的按键显示工具 Carnac 迁移到鸿蒙平台的完整流程。原工具基于 WPF + C#,新版本采用 Electron + HTML/CSS/JavaScript 架构,适配鸿蒙 web_engine 模块。文章详细对比了两种架构差异,提供了开发环境配置指南,并重点解析了核心实现:通过 Electron 创建透明窗口监听键盘事件,在屏幕底部居中显示按键提示。项目已在鸿蒙开源社区 AtomGit 上开源,为开发者提供了跨平台迁移的参考案例。
2026-06-06 14:28:27
15350
157
原创 [鸿蒙PC三方库适配实战] mpv 多层依赖树完整解析与适配实践
摘要:本文以媒体播放器 mpv 为例,详细介绍了在鸿蒙PC平台上适配多层依赖C/C++项目的系统化方法。文章首先解析了mpv的四层依赖树结构(基础库→中间库→核心库→目标库),强调自底向上的构建顺序原则。随后以zlib和libpng为例,展示了底层库的HPKBUILD配置要点,包括交叉编译环境设置、依赖声明和补丁应用。本文属于"软件鸿蒙化迁移实践"系列,提供完整的代码示例和构建指南,旨在帮助开发者掌握复杂依赖项目的适配技术。
2026-06-06 14:27:54
15337
154
原创 [鸿蒙PC三方库适配实战] 跨平台媒体播放器 mpv 的 鸿蒙PC 平台迁移实践
3.3 编写交叉编译配置 在 cross_file.txt 中配置鸿蒙PC 的交叉编译工具链和标准库路径: [binaries] c = 'aarch64-linux-ohos-clang' cpp = 'aarch64-linux-ohos-clang++' ar = 'llvm-ar' strip = 'llvm-strip' [host_machine] system = 'linux' cpu_family = 'aarch64' cpu = 'arm64-v8a' endian = 'little
2026-06-06 14:26:53
16230
154
原创 [鸿蒙三方库适配实战] 图像处理框架 G‘MIC CLI 的 OpenHarmony 平台迁移实践
鸿蒙三方库适配实战:G'MIC CLI 图像处理框架迁移 本文详细介绍了将开源图像处理框架 G'MIC CLI 适配到鸿蒙PC平台的全过程。主要内容包括: 环境准备:搭建基于 lycium_plusplus 构建框架的交叉编译环境,配置 OpenHarmony SDK 工具链 关键适配点: 处理 OpenMP 运行时依赖 配置 zlib 标准库支持 管理 CImg 头文件 生成 HNP 包 构建流程:通过 HPKBUILD 脚本定义完整的编译打包逻辑,解决标准库文件分发等实际问题 效果验证:在鸿蒙PC上实现
2026-05-22 19:50:54
21159
161
原创 告别设备束缚!网易 UU 远程 Mac 被控体验:免费高清 + 多场景丝滑,跨端办公刚需神器
远程工具百花齐放的今天,能稳定、清晰、低延迟地远程控制 Mac 始终是一件麻烦事,不是画质糊、就是延迟高、快捷键乱,想顺畅写个代码都难。直到网易 UU 远程上线 Mac 被控,我才真正感受到跨设备办公终于不再是折磨,体验甚至已经能和本地操作接近,尤其对经常跨设备工作的开发者来说,它几乎改变了日常工作方式:不用背着沉重的 Mac、出差也能秒连开发机、在外地也能继续办公,这篇文章就带你完整体验一下,为什么这次 Mac 被控,值得推荐。
2025-11-23 00:01:19
15437
101
原创 网易 UU 远程深度测评:跨设备操控体验、性能与应用场景全面解析
你是否有过这样的窘迫时刻:出门在外却突然接到工作通知,急需调取电脑里的紧急文件;或是家人在家用电脑时遇到操作难题,自己却无法当场协助;又或是想远程开启电脑处理未完成的任务,却苦于没有好用的工具。当电脑不在身边,这些突发需求往往让人手忙脚乱,而一款靠谱的远程控制软件,此刻就成了连接需求与解决办法的关键桥梁。网易 UU 远程正是为应对这类场景而生,以高清流畅的操控体验、全面实用的功能设计,打破设备与距离的限制,让你即便远离电脑,也能随时掌控一切,轻松化解各类远程需求的紧急状况。
2025-11-21 22:21:13
13215
121
原创 重大革新 - 顶尖的 AI 编程工具
Qoder 全球上线仅两个月,已获得全球数十万开发者的信赖与支持。为了让每一位开发者都能轻松用上顶尖的 AI 编程工具,Qoder 面向全球开发者推出首购优惠:由原价 10 美元/月直降至 2 美元/月(折合人民币约14.2元),一杯咖啡的钱,即可解锁 Qoder 全部核心功能的完整体验!
2025-11-12 14:56:13
709
原创 ⌈ 传知代码 ⌋ 针对股票评论的情感分类器
由于Transformer模型的强大表征学习能力,可以在大规模文本数据上进行预训练,并且具有适用性广泛的特点,因此Transformer模型已经被广泛应用于自然语言处理领域,它能够各种任务上取得了优异的表现,包括情感分析。本篇使用股票市场上的股民评论数据作为训练数据,股票市场受到投资者情绪和情感的影响很大,通过对股票评论进行情感分析,可以帮助分析师和投资者更好地了解市场参与者的情绪状态,从而预测市场走势;
2024-10-24 18:06:08
1238
原创 ⌈ 传知代码 ⌋ 农作物病害分类(Web端实现)
农作物病害是国家粮食安全的一个主要威胁,是决定农作物产量和质量的主要因素。由于传统方法缺乏必要的基础设施,并且极大程度依赖于人工经验,故诸多地区难以迅速高效地防治病害,从而影响农业的发展。因此,精确诊断农作物病害对于促进农业可持续发展至关重要。针对传统的农作物病害识别方法具有主观性并且极大程度依赖于人工经验的不足,利用卷积神经网络对农作物病害进行识别与分类。首先,利用数据增强技术扩充农作物病害原始数据集,增加数据的多样性和数量,同时可以提高训练网络的泛化能力和识别精度;
2024-10-22 18:11:04
1467
原创 ⌈ 传知代码 ⌋ 无监督动画中关节动画的运动表示
一阶运动模型FOMM 主要包括两个部分:运动估计和图像生成,其中运动估计进一步包含粗糙运动估计和密集运动预测。粗糙运动被建模为分离对象部分之间的稀疏运动,而密集运动则生成整个图像的光流和置信度图。我们用S和D分别表示源帧和驱动帧,这两者来自同一视频。首先从S和D估计各个对象部分的粗糙运动。每个对象部分的运动由仿射变换表示,Ak ∈ R^2x3,到一个抽象的共同参考帧R;X可以是S或D。针对K个不同的部分估计运动。
2024-10-21 18:38:01
1147
原创 ⌈ 传知代码 ⌋ 视频质量评价SimpleVQA
是一篇CCF A类会议ACM MM2023年上发表的文章。论文动机对于视频质量评价而言,视频的质量主要取决于视频的内容、视频的稳定性、视频有无失真。所以基于上述内容,本文从空间-时间进行建模以对视频的质量进行整体评价。论文思路提出一个时空模型对视频的图像和时间信息进行处理,最终得到视频预测的质量分数。视频抽帧处理:将视频每一秒抽取一帧关键帧空间信息处理:使用ImageNet上预训练的ResNet提取视频的空间信息时间信息处理:使用冻结参数的slowfast网络提取时间信息。
2024-10-19 18:37:07
1354
1
原创 ⌈ 传知代码 ⌋ 挑战MLP,KAN网络解析使用
自深度学习出现至今,所有的网络几乎都研自于MLP,虽然MLP的效果较为不错,MLP没有非线性的能力,用其训练人工智能需要大量的参数的堆叠和激活函数的作用,这使得模型有了过拟合的风险。本项目旨在通过新型网络KAN替代往常深度学习网络中MLP层,借助KAN网络其本身的非线性拟合能力和良好的可解释性,探究其在神经网络中替代MLP的可能,并研发新型的深度学习网络架构,以提高深度学习的性能和可解释性。综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!
2024-10-18 18:12:31
1092
原创 ⌈ 传知代码 ⌋ 生成一切的基础,DiT复现
DiT的全称是Diffusion in Transformer,它将Transformer引入到扩散模型中,替换了Stable Diffusion中常用的U-Net主干。通过增加Transformer深度/宽度或增加输入令牌数量,具有较高Gflops(浮点数运算次数)的DiT始终具有较低的FID(Fréchet初始距离,用于描述生成的图片和原始的图片之间的距离)。本文会讲解扩散模型的原理,从零开始逐步复现DiT模型。综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!
2024-10-16 21:03:39
1353
原创 ⌈ 传知代码 ⌋ CENet及多模态情感计算实战
本文对 “Cross-Modal Enhancement Network for Multimodal Sentiment Analysis” 论文进行讲解和手把手复现教学,解决当下热门的多模态情感计算问题,并展示在MOSI和MOSEI两个数据集上的效果综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!后续还会继续更新💓,欢迎持续关注📌哟~💫如果有错误❌,欢迎指正呀💫【传知科技 – 了解更多新知识】
2024-10-14 18:30:00
1173
原创 ⌈ 传知代码 ⌋ KAN 卷积:医学图像分割新前沿
在本文中深入探讨KAN卷积在医学图像分割领域的创新应用,特别是通过引入Tokenized KAN Block(Tok Kan)这一突破性设计,将深度学习中的图像分割技术推向了新的高度。KAN作为一种能够替代传统MLP(多层感知机)的网络结构,以其独特的优势在多个领域展现出强大的潜力。而在医学图像分割这一复杂且关键的领域,KAN卷积更是凭借其高效处理图像特征的能力,成为了研究的热点。
2024-10-13 21:13:37
1130
原创 ⌈ 传知代码 ⌋ TETFN情感计算的实践复现
本文讲解并复现了2024年一篇多模态情感计算的文章 “TETFN: A text enhanced transformer fusion network for multimodal sentiment analysis”,这篇论文利用三种模态之间进行交互,并对文本模态进行增强,以更准确的提取非文本模态的情感信息。TETFN综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!后续还会继续更新💓,欢迎持续关注📌哟~💫如果有错误❌,欢迎指正呀💫。
2024-10-06 22:44:15
1006
原创 ⌈ 传知代码 ⌋ 将一致性正则化用于弱监督学习
本文复现论文提出的偏标记学习方法。程序基于Pytorch,会保存完整的训练日志,并生成损失变化图和准确度变化图。偏标记学习(Partial Label Learning)是一个经典的弱监督问题。在偏标记学习中,每个样例的监督信息为一个包含多个标签的候选标签集合。目前的偏标记方法大多基于自监督或者对比学习范式,或多或少地会遇到低性能或低效率的问题。该论文基于一致性正则化的思想,改进基于自监督的偏标记学习方法。具体地,该论文所提出的方法设计了两个训练目标。
2024-10-04 21:07:36
1334
原创 ⌈ 传知代码 ⌋ 基于标签相关性的多标签学习
帕金森病是一种使人虚弱的慢性神经系统疾病。传统中医(TCM)是一种诊断帕金森病的新方法,而用于诊断帕金森病的中医数据集是一个多标签数据集。考虑到帕金森病数据集中的症状(标签)之间总是存在相关性,可以通过利用标签相关性来促进多标签学习过程。目前的多标签分类方法主要尝试从标签对或标签链中挖掘相关性。该文章提出了一种简单且高效的多标签分类框架,称为潜在狄利克雷分布多标签(LDAML),该框架旨在通过使用类别标签的主题模型来学习全局相关性。
2024-10-03 15:57:38
1154
原创 文心智能体平台 AgenBuilder | 搭建智能体:情感顾问叶晴
文心智能体平台AgenBuilder,作为百度文心大模型技术体系中的重要组成部分,专注于智能体的构建与部署,融合了先进的人工智能算法和深度学习技术,为用户提供了一个直观、易用的开发环境,用户可以通过简单的拖拽和配置,快速定义智能体的行为、状态、感知和决策等关键要素。平台还提供了丰富的模板和示例,帮助用户快速上手,降低开发门槛,支持多种智能体类型,包括但不限于机器人、虚拟助手、自动驾驶系统等,用户可以根据自己的需求,选择合适的智能体类型,并进行定制化的开发。综上,我们基本了解了“一项全新的技能啦”🍭。
2024-10-03 13:58:54
2281
原创 ⌈ 传知代码 ⌋ WRN: 宽度残差网络
本文复现论文提出的深度神经网络模型。为了解决深度神经网络梯度消失的问题,深度残差网络(Residual Network[2])被提出。然而,仅为了提高千分之一的准确率,也要将网络的层数翻倍,这使得网络的训练变得非常缓慢。为了解决这些问题,该论文对ResNet基本块的架构进行了改进并提出了一种新颖的架构——宽度残差网络(Wide Residual Network),其减少了深度并增加了残差网络的宽度。
2024-08-18 00:47:10
1384
原创 ⌈ 传知代码 ⌋ DETR[端到端目标检测]
在目标检测需要许多手工设计的组件,例如非极大值抑制(NMS),基于人工经验生成的先验框(Anchor)等。DETR这篇文章通过将目标检测作为一个直接的集合预测问题,减少了人工设计组件的知识,简化了目标检测的流程。给定一组固定的可学习的目标查询,DETR推理目标和全局图像的上下文关系,由于DETR没有先验框的约束,因此对于较大的物体预测性能会更好。综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!后续还会继续更新💓,欢迎持续关注📌哟~💫如果有错误❌,欢迎指正呀💫。
2024-08-18 00:39:40
1094
原创 ⌈ 传知代码 ⌋ 【FCOS】2D目标检测算法
FCOS提出了一个全卷积的单阶段目标检测器,以逐像素预测的方式解决目标检测,类似于语义分割。FCOS通过消除预先定义的锚框集合,完全避免了训练过程中与锚框相关的复杂计算,例如与锚框相关的所有超参数,而这些参数通常对最终的检测性能非常敏感。综上,我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高!!!后续还会继续更新💓,欢迎持续关注📌哟~💫如果有错误❌,欢迎指正呀💫【传知科技 – 了解更多新知识】
2024-08-16 18:53:48
873
原创 ⌈ 传知代码 ⌋ 当下最牛的图像压缩算法
首先,这篇文章的出发点就是图像压缩最本源的目的,就是探索如何在相同的码率下获得更高质量的重建图像,或者说在得到的重建图像质量一样的情况下,如何进一步节省码率。然后作者就站在前人做的利用深度学习压缩的基础上思考,有一批人使用CNN的方法,可以很好地降低空间冗余度,然后捕获图像的空域结构;另一批人使用Transformer的结构,来捕捉图像中长距离的空间依赖关系。于是作者就想,能不能把这两种方法做一个结合,做这么样一个结构,使其同时具备这两种算法的优点。于是就在此基础上,作者提出了本文的方法。
2024-08-16 18:48:44
1033
原创 ⌈ 传知代码 ⌋ Visual SLAM函数
SLAM代表同步定位和地图构建(Simultaneous Localization and Mapping),这一技术的主要含义在于其能让一个计算机通过外界定位传感器所传回的信息,经过算法函数的整合与过滤后可以得出该计算机所对应的代理机器处在的探测环境中的准确位置。在这其中,Visual SLAM便是一个只用环境图像便能实现精准定位的一个SLAM函数,并且还能是吸纳动态构造并实时更新周遭环境地图,让机器人可以在构建出的3D地图里定位和规划路径。
2024-08-15 18:59:22
960
原创 ⌈ 传知代码 ⌋ 文生语音之ChatTTS的使用
ChaTTS是一个功能强大的文本转语音系统,该模型使用了大量的的文本和语音数据进行相关模型的训练。目前该模型已经开源了训练之后的模型权重文件,以供程序员使用。本文将从TTS(Text-To-Speech)模型的角度讲解文生语音模型的原理,并以ChatTTS为例阐述部署模型和参数微调。VITS由于采用对抗训练的模式,模型主要包括生成器和判别器两大块,判别器仅在训练时使用。具体实现上,生成器net_g由SynthesizerTrn实现,包括先验编码器、随机时长预测器、解码器和后验编码器;
2024-08-15 18:53:22
1760
原创 ⌈ 传知代码 ⌋ 如何穿透模糊,还原图片真实面貌
算法框图上图Transformer模块的核心模块是:( a )多Dconv头转置注意力( Multi-Dconv Head Transpose Attention,MDTA ),它执行跨通道而不是空间维度的查询关键特征交互;( b )门控Dconv前馈网络( Gated-Dconv Feeding Network,GDFN ),它执行受控的特征变换,即允许有用信息进一步传播。多Dconv头转置注意力(Multi-Dconv Head Transpose Attention,MDTA)
2024-08-13 18:30:38
986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅