![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI & Computer Vision
文章平均质量分 92
追踪最新前沿技术,分享爬坑踩坑记录,让后来者少花时间,以简单高效的方式去做技术人
烧技湾
AI changes the world.
展开
-
Hallo:让一张图开口说话
Hallo模型,是近期开源的一个生成式的模型,它可以输入一张图片+一段语音,就可以生成对应的一段视频。这个技术的难点主要有:1、如何让音频与脸部的发音系统如嘴唇、面部表情联动;2、生成的视频质量比较高。这个开源的工程,可以跟其他工具配套使用,如windows版本、webUI等集成使用,非常友好。例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。原创 2024-07-26 09:58:47 · 900 阅读 · 0 评论 -
当火热的Mamba遇到火热的YOLO,会发生怎么样的反应吗?
计算机视觉的发展,从CNN开始火起来,到Transformer再将之推向高潮,最近火热的Mamba架构也开始突起爆发。如果将最近火热的Mamba模型与YOLO检测框架结合,能擦出什么火花呢?这篇文章将问你解读。不同模型学习到的注意力图可视化YOLOv5[46]、YOLOv6[27]、YOLOv7[28]、YOLOv8[42]和曼巴YOLO在主干中的随机初始权可视化结果输出的特征图。原创 2024-07-05 19:13:38 · 1292 阅读 · 0 评论 -
Hallo:分级音频驱动视觉合成肖像动画
人像动画,又称说话头像动画,旨在从单个静态图像和相应的语音音频中生成一个说话的人像。这项技术在视频游戏和虚拟现实、电影和电视制作、社交媒体和数字营销、在线教育和培训以及人机交互和虚拟助理等各个领域都具有巨大的价值。Stable Diffusion[31]和DiT[27]等作品体现了该领域的重大进展,它们涉及将噪声逐渐纳入潜在空间的训练数据中,然后通过反向过程逐步从该噪声中重建信号。原创 2024-06-29 16:15:30 · 1236 阅读 · 0 评论 -
端到端的全人体关键点检测:手把手实现从YOLOPose到YOLOWhole
本文实现全人体133个关键点的联合检测。流程如下:1、数据集,COCO-whole, Halpe;下载好;2、模型搭建,先基于yolov8来检测人体姿态,17个点;3、迁移任务,17个点,把它拓展到133个点;4、优化133个点的模型;原创 2024-06-24 19:11:51 · 1076 阅读 · 1 评论 -
不翻墙安装yolov8环境下的RT-DETR并实现PCB表面缺陷检测
通过不用翻墙就能实现yolo平台的RT-DETR使用,并迁移学习PCB表面缺陷检测。原创 2024-06-24 19:06:22 · 832 阅读 · 0 评论 -
RT-DETR那么火,如何使用它、如何改进它?热滚滚的使用攻略出炉了
RT-DETR作为新一代的旗舰DETR系列算法模型,使用它,并改造它,提升性能,这是我们所追求的。原创 2024-06-14 09:55:24 · 1467 阅读 · 1 评论 -
ControlNet之黑白照片复原+上色
从最初的黑白模糊照片到现在的高清彩色照片的显著进步,这正是ControlNet技术强大之处的体现。它不仅代表了技术的飞跃,同时也象征着我们对清晰视觉体验的不懈追求。原创 2024-05-31 10:40:31 · 1043 阅读 · 0 评论 -
零基础学习图生图
有些情况下,无法用文字准确描述的时候,提示词的作用无法发挥出来,这个时候可以借助其他图的结构,来生成我们指定的图片内容,这就是图生图的原始思想。这个的作用是我们不用再手动绘画蒙版具体功能,而是可以通过其他软件来制造蒙版,完成更加细致的修改,然后在输入相对应的提示词,对蒙版区域内的内容进行修改,最好不要用纯色蒙版。局部重绘,字面意思一样,即通过鼠标画笔将局部像素抹掉。涂鸦功能,体现在:一个最好是纯白色背景的图片,然后使用鼠标选择画笔与颜色进行涂鸦绘画,然后通过提示词,即可生成与涂鸦内容相似的内容。原创 2024-05-29 17:42:55 · 821 阅读 · 0 评论 -
定制文生图:从零基础训练LoRA,生成可爱的热巴姐姐
LoRA模型(Low-Rank Adaptation)是一种轻量级的模型微调方法,特别适用于大型预训练模型的快速适应。 在Stable Diffusion模型中,LoRA模型通过引入低秩矩阵来修改预训练模型的参数,从而实现模型的快速适应和优化。花1分钟了解LoRA在做什么。我们收集了30张热巴的个人照,然后送入到一个微调模型中训练,以让文生图模型能够生成热巴照片。原创 2024-05-23 16:10:47 · 1115 阅读 · 0 评论 -
你想要的照片,AI都能帮你画出来:记录Stable Diffusion的力量
Stable Diffision火得一塌糊涂,作为开源阵营里文生图的典型代表,是跟闭源的Dall-E,midjourney分庭抗礼的利器。不体验一把,怎么能说自己是搞生成模型的呢?SD还有哪些地方可以挖掘和探索的呢?离市场应用还有多远。有待挖掘。原创 2024-04-23 13:05:16 · 805 阅读 · 0 评论 -
T2I-Adapter: 让马良之神笔(扩散模型)从文本生成图像更加可控
大规模的text2image模型具有不可置信的生成能力,已经在学习复杂结构和高层语义上展现了超能力。但是,仅依赖文本提示还不够充分挖掘这些能力,特别是在灵活以及准确地控制下(例如颜色和结构)。在这篇文章中,作者尝试去发掘这种T2I模型隐性学习的能力,然后直接使用它们去控制更加有颗粒度的生成。特别地,作者提出学习简单的轻量级的T2I-Adapters去对齐模型内部的知识。原创 2023-12-20 15:09:05 · 2051 阅读 · 1 评论 -
工业异常检测:从前沿到落地
工业异常检测是一个比较古老的话题,从传统的图像处理到现在引入深度模型的深度视觉识别,也就短短十几年的时间。这样的提升主要体现在几个方面:1、检测能力越来越强大,从单一的异常检测到现在的多种类检测;2、模型越来越强大,从几个文件几张图片到现在大模型上万张图像。即使如此,在边缘GPU的加持下,深度模型取得了检测速度和检测精度的双平衡,这篇文章将从:1、原理解读,2、动手实践两个部分进行展开,恪守知行合一的原则,为有强迫症的读者带来酣畅的体验。主要对SimpleNet进行了原理解读,和效果分析。原创 2023-10-24 12:59:48 · 1902 阅读 · 3 评论 -
Latex如何插入图片
转载于:https://blog.csdn.net/ZLK961543260/article/details/72832570 latex排版之插入图片:在排版图片之前,个人认为不管用不用到,引入下面两个包:\usepackage{graphicx} \usepackage{subfigure}(1)插入单个图片,图片格式为png\begin{figure}[h]\center...转载 2018-07-26 15:13:24 · 103858 阅读 · 7 评论 -
深度学习系列之ANN
到此,ANN网络从最基础的单层感知器,到为深度网络作模板延伸的BP网络,将模型结构、参数训练、算法都举例讲解的很透彻,为下面的CNN网络的学习打下坚实的基础。(这个在线编辑器,体验太差了,好好写一篇长文章,想知道博客上与大家交流,转换过程太麻烦,所以直接贴图片) 到此,ANN网络从最基础的单层感知器,到为深度网络作模板延伸的BP网络,将模型结构、参数训练、算法都举例讲解的很透彻原创 2015-06-28 10:10:35 · 3704 阅读 · 0 评论 -
机器学习入门指引<一>
机器学习,作为门时髦、热门的计算机应用技术,特别是随着深度学习的流行,推动“大数据+深度模型”的模式,为人工智能和人机交互的发展提供巨大的空间。 和数据挖掘一样,利用大量的数据分析建立有效的模型以便提供分类或者决策支持,机器学习也是利用经典的算法(聚类,SVM,神经网络,深度学习等)建立数据模型,不同的是机器学习偏向于算法的设计;更直接的说,机器学习,就是一些建立模型进行数据分析的算法包原创 2014-10-28 09:09:49 · 994 阅读 · 0 评论 -
SVM(支持向量机)详解
SVM1、支持向量机发展历史1963年,Vapnik在解决模式识别问题时提出了支持向量方法。起决定性作用的样本为支持向量1971年,Kimeldorf构造基于支持向量构建核空间的方法1995年,Vapnik等人正式提出统计学习理论。 通俗来讲,SVM是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,原创 2014-10-31 10:06:48 · 32642 阅读 · 2 评论 -
深度学习系列之CNN核心内容
DNN的背景DNN,deep neural network,近几年机器学习算法中崛起的旗舰方法,作为分类精度最高、处理高维大数据的算法,挽救了机器学习在半个世纪里发展缓慢的颓势,也为人工智能新领域的拓展起着重要作用,来看看最近一些IT巨头在深度学习领域中的开展的工作。2012年,《纽约时报》报道的google Brian项目,引起广泛关注,这个项目由机器学习领域大师级人物吴恩达和大规模计算机系原创 2015-06-28 15:06:15 · 2311 阅读 · 0 评论 -
实验:如何在YOLO8中添加PnP算法来实现Head Pose Estimation
YOLO8的集成度比较高,如何在简洁的代码中加入Head Pose的东西,不是一件简单的事情.这里介绍如何插入PnP算法实现头部姿态估计的代码?这里,我们使用了Kalman 滤波来消除跳跃的情况,让pose变得更加平滑.但是Kalman 滤波的学习暂时没有具体取探索.在评估学习中.。原创 2023-07-14 20:49:30 · 661 阅读 · 3 评论 -
探索基于300W-LP的3D人脸关键点检测
300WLP数据集提供来丰富的人脸线索,包括2D或3D的关键点信息,Head Angle和3DMM的参数等.它可以用于2/3D的人脸关键点检测,以及头部姿态检测等任务.这里,我们尝试去实现端到段的3D人脸关键点检测.期待好的结果!原创 2023-07-12 18:00:14 · 990 阅读 · 0 评论 -
三维人脸实践:基于Face3D的人脸生成、渲染与三维重建 <三>
这里主要介绍基于3DMM模型的反向过程求解α , β 的过程。很多细节还是要对照代码去理解公式与原理,结合公式去指导代码阅读。原创 2023-03-09 13:48:46 · 1250 阅读 · 3 评论 -
三维人脸实践:基于Face3D的人脸生成、渲染与三维重建 <二>
这里主要介绍基于3DMM模型的前向与反向过程。前向过程,基于3DMM,给出参数的情况下,生产三维对象和二维人脸;反向过程,给出人脸关键点的情况下,估计形状和颜色参数等,形成对应的三维人脸建模。原创 2023-03-08 22:47:22 · 3370 阅读 · 1 评论 -
三维人脸实践:基于Face3D的人脸生成、渲染与三维重建 <一>
这里尝试去实现有关三维人脸的一些基础功能,如处理网格数据mesh data、基于morphable model的人脸生成,基于单张人脸图片及其关键点的三维人脸重构,带有不同光照效果的人脸渲染等操作。该工程大部分代码基于python,但有些功能如rasterization使用C++实现循环渲染会快很多,并使用Cython编译供python环境使用,该工具轻量而运行快。原创 2023-03-08 13:09:30 · 1995 阅读 · 4 评论 -
ti3090安装cuda113+cudnn+anaconda+yolopose过程
在远程服务器上安装yololandmark全过程原创 2022-12-30 19:40:24 · 831 阅读 · 0 评论 -
人脸关键点COFW-68使用指南
COFW包含1007张人脸,展现来在不同遮挡情况下的模式。数据包含两种类型:灰度图,和彩色图。在W300数据集上训练好的人脸关键点检测模型,在新的COFW数据集上展示一定的泛化性能,说明来该方法的鲁棒性。原创 2022-11-30 23:28:55 · 1428 阅读 · 0 评论 -
YOLOv5实战:如何添加RepVgg模块
添加RepVGG模块到YOLOv5中的实践有用原创 2022-10-30 13:06:17 · 4484 阅读 · 7 评论 -
#YOLOv6#面向行业应用的目标检测器
当YOLOv7被大量报道,并被冠以“当前最快最强”的目标检测器时,我们想将来肯定有更厉害的版本V8、V9出现,如同手机一样更新换代!而不久前开源的YOLOv6,已经在推理速度精度的均衡张,把YOLOv7打败,但YOLOV6引起一阵争议。我们一睹为快原创 2022-10-13 11:35:12 · 4708 阅读 · 0 评论 -
修复YOLOFacePose中存在关键点异常的问题
处理YOLOPose中存在的关键点检测越界问题原创 2022-09-19 17:58:01 · 1019 阅读 · 4 评论 -
#YOLOv7#好用还免费的“赠品”助力实现实时目标检测的新高地
bag-of-freebies,怎么理解?赠品?免费包?我们在设计深度模型时,如果引入一个新模块,提升了性能,但同时带来了负担如运算量、参数量的增加,那么该模块的好坏就不好衡量;如果该模块的引入,既提升了性能,又不会增加负担,那么该模块无疑是优秀的,这里称之为“赠品”。一起来看看YOLOV7有哪些赠品包吧原创 2022-08-01 18:32:26 · 1633 阅读 · 0 评论 -
人脸与关键点检测:YOLO5Face实战
居然花了一天时间把该项目复现,主要是折腾在数据集格式上,作者居然在train2yolo中居然把Widerface训练集(12000+张图)重新一张一张保存,不这么做还报错,原因是无法读到数据缓存。搬运工,肝不起啊!........................原创 2022-07-25 14:53:02 · 9013 阅读 · 28 评论 -
YOLO5Face:为什么要重新发明人脸检测器
目标检测网络这个大熔炉看似复杂,其实简单,大概可以分为三个部分:backbone、Neck和Head。Backbone骨架,针对不同平台,可以考虑使用重型还是轻量型的模型;Neck,针对目标的尺度是大、中、小、迷你,考虑采用特征金字塔,从传统的FPN到先进的PANet,也在不断发展;Head,针对任务而言,是分类还是回归,添加不同的head即可。那么,如何定制从一个通用目标检测框架YOLO,到带有关键点检测的专用人脸检测网络呢?作者庖丁解牛,对网络整改,在此致敬YOLO祖师爷。.........原创 2022-07-24 00:15:30 · 1483 阅读 · 0 评论 -
目标检测之锚点与锚框
目标检测模型使用锚框去预测物体的位置框,它对于目标检测任务具有关键意义。理解并仔细地微调模型的锚框是对于提升检测性能非常重要,特别是数据集具有不规则的物体时。原创 2022-07-21 22:29:24 · 4570 阅读 · 0 评论 -
YOLOPose实战:手把手实现端到端的人体姿态估计+原理图与代码结构
最近,YOLO又火了,YOLOv7在速度和精度的平衡上达到了最佳水平。而基于YOLOv5的YOLOPose也在人体姿态估计领域取得了端到端领先的性能。本篇记录复现YOLOPose的过程,与代码解读。原创 2022-07-20 22:08:14 · 23174 阅读 · 58 评论 -
PIPNet:面向自然场景的人脸关键点检测《Pixel-in-Pixel Net: Towards Efficient Facial Landmark Detection in the Wild》
导读:人脸关键点的研究在人脸编辑(抖音各种效果)、人脸识别和表情识别等方面起着越来越重要的作用。本篇文章从几个角度来解决识别过程中遇到的挑战比如如何鲁棒性检测极端面部、如何兼顾速度与精度等,1、提出一个新的范式,除了传统的坐标回归与热力图回归,很大程度上解决了速度的问题;2、针对人脸关键点的特性,提出了近邻约束,增强了鲁棒性。3、提出一个自训练策略,进一步提升跨域检测性能。作者没有设计新的网络结构,但从训练策略再到面向任务的特性着手,也能提供了有价值的参考意义。......原创 2022-07-19 00:24:54 · 2637 阅读 · 0 评论 -
深度网络设计技巧(五)之VAN:Visual Attention Network#超越Swin的纯CNN#
今天了解一个卷积的新操作,即解耦卷积。说是新,其实旧,比如MobileNet为了高效率地推断,将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN,即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能,但是在MLP中采用经典的DW-FFN,究竟是MLP带来了性能提升,还是大核注意力起了作用,有点存疑!............原创 2022-07-10 22:11:09 · 1603 阅读 · 1 评论 -
深度网络的设计技巧(四)之CBAM:通道注意力与空间注意力
不少纯CNN架构借助Transformer的设计思想也能表现良好。而在纯CNN的时代里,以卷积运算为基础的模块在关注其他维的注意力上如通道注意力、空间注意力等。这篇文章回顾经典,通道注意力和空间注意力,哪个先关注呢?......原创 2022-07-02 22:57:53 · 5553 阅读 · 1 评论 -
深度网络架构的设计技巧(三)之ConvNeXt:打破Transformer垄断的纯CNN架构
正当其时的“2020s”年代,从Transformer开始,引爆了一股“咆哮”的热潮,各种框架层出不穷,借用凯明一句话“without bells and whistles”,沉淀下来的实用性如何?本文作者长篇分析设计CNN架构的若干技巧,对照Swin Transformer的设计理念,渐进式“现代化”改造ResNet,取得了良好的效果,对深度网络的设计具有较大的参考价值。 ConvNeXt在CNN与Transformer的较量中,给CNN掰回一局。.........原创 2022-06-28 18:41:19 · 10488 阅读 · 2 评论 -
深度网络架构的设计技巧(二)之BoT:Bottleneck Transformers for Visual Recognition
Transformer一词来自本文作者之一的Ashish Vaswani,相信了解Transformer的人,都知道Original Transformer=Vaswani Transformer。ViT刚出来那会儿,简直引爆学术圈,各大CNN任务用Transformer翻一遍,就能达到SOTA,虽然现在是Transformer+自监督学习的天下。本文,向经典致敬,向大佬学习如何设计有效的深度网络,即在ResNet BottleNeck内如何引入多头注意力。.........原创 2022-06-27 21:13:36 · 1245 阅读 · 0 评论 -
一文扫尽检测类评估指标:AP、mAP、ReCall、OKS和IoU
PR曲线中,XY坐标中的Recall/Precision分别代表什么?Recall,翻译成“召回率”,能理解啥意思不?甚至在姿态检测任务中也用这个作为评估指标。对他们好熟悉但说不准意思,对不?本文,试图从栗子出发,吃下这颗栗子仿佛就会灵光,更复杂的mAP、AR不在话下.........原创 2022-06-27 12:36:02 · 1771 阅读 · 0 评论 -
边缘计算(一):EdgeNeXt,面向移动开发的CNN-Transformer混合架构
CNN和Transformer单独玩出的花样层出不穷。你中有我我中有你的思想,交替出现,例如Large Kernel CNN试图去模仿Transformer的远程建模能力,Local Transformers试图去模仿CNN分层建模的能力。原创 2022-06-23 14:44:41 · 2720 阅读 · 0 评论 -
#ACCV2022还有两周截稿#疫情过后期待相聚澳门,相邀参与亚洲视觉盛会
第16届ACCV2022将在魅力城市-澳门-线下举办。虽然当前疫情反复,但澳门政府控制疫情有魄力,行动坚决,相信很快控制疫情,为会议的顺利举办提供安全放心的保障。别忘了ACCV2022的截稿日期是7月6号,还有两周的时间喔,快快行动起来吧!............原创 2022-06-23 10:25:02 · 680 阅读 · 0 评论