- 博客(136)
- 收藏
- 关注
RSS订阅原创 Adversarial Diffusion Distillation
θϕψxsαsx0σsϵxθxss)Tstudentτ1⋯τn}N4τn1000sxθx0FDϕkFkkxθxθtxψxθtt)sgd。
2024-08-24 14:32:08
463
原创 Prompt-Free Diffusion: Taking “Text” out of Text-to-Image Diffusion Models
CVPR2024 SHI Labshttps://arxiv.org/pdf/2305.16223https://github.com/SHI-Labs/Prompt-Free-Diffusion问题引入在SD模型的基础之上，去掉text prompt，使用reference image作为生成图片语义的指导，optional structure image作为生成图片structure的指导来进行生成；使用SeeCoder来提取参考图片的embedding作为生成条件，且SeeCode
2024-07-04 10:58:30
361
原创 Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models
FMGfimgi{concatmfjconcatgi−1fji1ij132≤i≤12ij13yF′M′{concatmm′fjzerofj′))concatgi−1fjzerofj′))i1ij132≤i≤12ij13HFDNrZrclnormZr。
2024-07-04 10:16:59
753
原创 PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation
ON2→OR2N2。
2024-07-03 22:16:38
265
原创 PIXART-α: FAST TRAINING OF DIFFUSION TRANS- FORMER FOR PHOTOREALISTIC TEXT-TO-IMAGE SYNTHESIS
Siβ1iβ2iγ1iγ2iα1iα2i]SSigSEi)Ei)Ei)Si。
2024-07-03 21:48:34
494
原创 T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Mode
512×51264×64FcFc1Fc2Fc3Fc4}Fci。
2024-07-03 21:04:17
521
原创 Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
xyx′∈Rh∗w×cy′∈Rh∗w×cPACAQKVSoftmaxdQKT⋅VQtoQx′KtoKy′VtoVy′。
2024-07-01 20:58:10
870
原创 DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
深圳先进研究院&上海ai lab&港中文https://github.com/XPixelGroup/DiffBIRhttps://arxiv.org/pdf/2308.15070问题引入使用一个统一的框架来处理image restoration任务，包含图片超分BSR，图片去噪BID和人脸restoration BFR，分为两个阶段，第一个阶段是degradation removal来去掉与图片无关的退化信息，第二个阶段是generation module for los
2024-07-01 19:58:20
295
原创 SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution
xyyxfxrepfxlogitsfyrepfylogitsLDAPELrfyreffxrepλLlfylogitsfxlogits)LrLl。
2024-07-01 17:04:38
987
原创 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
N×dZ′AttentionQKVSoftmaxdQKTVQZWqKctWkVctWvZZ′ctZ′′AttentionQK′V′SoftmaxdQK′TV′QZWqK′ciWk′V′ciWv′WqWk′Wv′WkWvZnewZ。
2024-06-20 18:01:58
949
原创 Hierarchical Integration Diffusion Model for Realistic Image Deblurring
z∈RN×C′Xr∈RHW×CQzKVSoftMaxQKTC⋅V。
2024-06-19 20:08:23
736
原创 DiffIR: Efficient Diffusion Model for Image Restoration
ZCPENS1PixelUnshuffleConcatIGTILQ)))Z∈R4C′F′Wl1Z⊙NormFWl2ZWlFF′QWdQWcQF′KWdKWcKF′VWdVWcVF′WdWcQ∈RHW×CK∈RC×HWV∈RHW×CFWcV。
2024-06-19 19:23:52
895
原创 Humans in 4D: Reconstructing and Tracking Humans with Transformers
θ∈R24×3×3β∈R10M∈R3×NN6890X∈R3×kXMWW∈RN×kθb∈R23×3×3θg∈R3×3πRt)R∈R3×3t∈R3XxIθβπ。
2024-06-07 14:42:56
688
原创 Scalable Diffusion Models with Transformers
I∈RH×W×3z∈R8H×8W×4T×ddTpγβγβαα。
2024-06-05 17:48:58
832
原创 Human Guided Ground-truth Generation for Realistic Image Super-resolution
IHIPosINeg)IHILLR−PosLR−NegL1。
2024-06-05 13:29:00
483
原创 【TODO】CutMIB: Boosting Light Field Super-Resolution via Multi-View Image Blending
USTC cvpr2023https://github.com/zeyuxiao1997/CutMIB问题引入针对光场超分的数据增强策略；在同一个位置的每一个视图中剪切低分辨率块，然后将所有LR补丁混合生成混合补丁，最后将混合补丁粘贴到高分辨率光场视图的相应区域；之前还有一个工作CutBlur，类似但是没有多视角；methods【TODO】针对光场特点，暂不深入了解；
2024-05-31 11:16:23
130
原创 【TODO】Zero-Shot Dual-Lens Super-Resolution
USTC CVPR23https://github.com/XrKang/ZeDuSR问题引入现在的移动设备通常配备广角和长焦两个相机，在此基础上进行超分，不同的图片仍然有不同的退化过程，即使是同一个设备，所以本文提出了一个方法，可以仅凭test时的双镜头数据对来学习image specific SR model；广角和长焦镜头在重叠的视场角内自然的存储了低分和高分的对应图像，可以用来学习超分模型，同时可以通过长焦图片可以作为参考来对广角视图进行超分；实现面临的两个主要的困难及本文对应解
2024-05-31 11:01:13
187
原创 【TODO】OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer
深先研&Tencent&东京大学&上海ai lab CVPR2023https://github.com/Fanghua-Yu/OSRT问题引入面向monidirectional image super-resolution问题，之前的方法通过在等距柱状投影图像equirectangular projection (ERP)上进行超分来解决这个问题，采用bicubic下采样来生成数据对，忽略了ERP在退化过程中的几何特性，导致难以泛化到真实的ERP图像；本文专门设计
2024-05-31 10:29:53
215
原创 Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance
FtAttentionQtKtVtsoftmaxdQtKtTMVtMMij0ifijelse−∞。
2024-05-28 19:48:52
489
原创 Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
x1∈Rt×h×w×cx2∈Rh×w×cx2tx1w。
2024-05-28 17:43:56
848
原创 DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
x0{p1⋯pN}{x1′⋯xN′}cIAcCLIPcVAE)Acppi−2pi−1pipi1pi2}ϵθztcicpϵθzt∅∅sIϵθztcI∅−ϵθzt∅∅))spϵθztcIcp−ϵθzt。
2024-05-28 17:05:10
1093
原创 Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
Ep。
2024-05-28 16:05:28
740
原创 DISCO: Disentangled Control for Realistic Human Dance Generation
fgpptpp1p2⋯pT}ItVI1I2⋯IT}fgpctext∈Rl×dcf∈Rhw×d。
2024-05-28 15:28:08
599
原创 MagicPose: Realistic Human Poses and Facial Expressions Retargeting with Identity-aware Diffusion
IR{PF}PFsoftmaxdQ⋅KT⋅VsoftmaxdQ1⋅K1⊕K2T⋅V1⊕V2)K2V2⊕。
2024-05-28 14:38:48
766
原创 Learning A Single Network for Scale-Arbitrary Super-Resolution
ICCV2021问题引入现在的超分模型大多专门为固定整数scale的超分任务设计，本文提出一个可插拔模块，来利用一个模型来实现任意尺度的超分模型，包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420)；实现方法是增加一个模块，模块有多个scale aware feature adaption block和scale aware upsampling layer组成，同
2024-05-27 15:08:37
246
原创 Actor-critic学习笔记-李宏毅
∇RθN1∑n1N∑t1Tn∑t′tTnγt′−trt′n−b∇logpθatn∣stn)Gtn∑t′tTnγt′−trt′nVπs)Qπsa)Gtn∑t′tTnγt′−trt′nEGtnQπθstnatn)Vπθ。
2024-05-26 10:42:29
269
原创 Q-Learning学习笔记-李宏毅
refhttps://www.youtube.com/watch?v=tnPVcec22cg&list=PLJV_el3uVTsODxQFgzMzPLa16h6B8kWM_&index=5&ab_channel=Hung-yiLee
2024-05-24 11:44:21
971
原创 MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
Irefp1Np1⋯pN]NNyayp1K。
2024-05-23 17:05:28
904
原创 Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance
θ∈R24×3×3β∈R10M∈R3×NN6890W∈RN×kIrefI1NHrefH1NHtransiSMPLβrefθmi)iiFi⋅θi)y∑i1NFi⋅θi。
2024-05-23 16:12:29
937
原创 强化学习学习笔记-李宏毅
refhttps://www.youtube.com/watch?v=OAKAZhFmYoI&ab_channel=Hung-yiLee
2024-05-22 18:04:37
689
原创 Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer
B×Bx∈RH×W×Cxb∈Rh×w×B2×CzijnijPiON2)ON。
2024-05-21 22:21:31
362
原创 TikTokActions: A TikTok-Derived Video Dataset for Human Action Recognition
人体行为识别数据集：283,582个视频片段，包含386个类别，从tiktok收集而来；现有的人体行为识别数据集：– UCF101：https://arxiv.org/pdf/1212.0402– HMDB-51：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6126543– Kinetics Human Action Video dataset：https://arxiv.org/pdf/1705.06950– Som
2024-05-20 10:04:00
166
原创 Dive into Deep Learning-优化算法(2)
fR→Rfxϵfxϵf′xOϵ2)η0ϵ−ηf′x)fx−ηf′x))fx−ηf′2xOη2f′2x))ηf′2x0ηfx−ηf′x))fx)x←x−ηf′x)fx)ηxx1x2⋯xdTfRd→R∇fx∂x1∂fx∂x2∂fx⋯∂xd∂fxTfxϵfxϵT∇。
2024-05-14 11:18:11
604
原创 Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Dec
CVPR2024问题引入本文introduction部分描述逻辑较为混乱，创新点不是很足，但是整体提炼一下分为两点，其一是改进IDM，使得过程更加efficient，也就是在latent space进行diffusion并且将隐式解码提到diffusion过程之后；其二是同时实现任意尺度超分任务和图像生成任务；其实本质上只有efficiency这一个创新点，原先IDM就是一个以LR+scale为条件的diffusion model，可以实现任意尺度的超分任务，图像生成就没有LR作为条件；所以
2024-05-11 10:57:25
351
原创 SwinIR: Image Restoration Using Swin Transformer
ILQ∈RH×W×Cin3×3HSF⋅)F0∈RH×W×CFDF∈RH×W×CFDFHDFF0)HDF⋅)KIRHQHRECF0FDF)IRHQHSwinIRILQILQL∣∣IRHQ−IHQ∣∣1H×W×CM2HW×M2×CM2H。
2024-05-10 14:58:44
850
原创 Local Texture Estimator for Implicit Representation Function
ILR∈RH×W×3→IHR∈RryH×rxW×3sxILR;Θ∑j∈Jwjfθzjx−xj)zEψILR)x−xjsxILR;Θψ∑j∈Jwjfθhψzjx−xj))ha⋅RC→R2Khf⋅RC→RK×2hp⋅R2→RKδx−。
2024-05-10 12:17:33
874
原创 Interpreting Super-Resolution Networks with Local Attribution Maps
I∈RdSRd→RAttrSRd→RdGradSI∂I∂SII⊙∂I∂SI(I−I′⋅∫01∂I∂SI′αI−I′))dαI′FRh×w→Rsh×sws(xy)l×lDxyRl×l→RDxyI∑i∈xxlj∈yyl∇ijII′I′wσ⊗IDFI))γα01。
2024-05-10 11:31:05
526
原创 Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
IHRILRFLRr(inCoutCkkinCoutC(ij)(i′j′Tij(⌊ri⌋⌊rj⌋)Wijψvij;θ)Wij(ij)vijri−⌊ri⌋rj−⌊rj⌋r1)θ(ij)(i′j′。
2024-05-09 12:27:46
741
原创 Dive into Deep Learning-优化算法(1)
也就是对应一个矩阵的乘方进行特征值分解，只需要将特征值进行同样的n次方即可，此时n需要时正数；，可以看到对矩阵的逆进行特征值分解，直接对特征值求逆即可；矩阵的行列式等于矩阵的特征值的乘积。iii. 延续上面的例子，特征向量组成的矩阵。矩阵的秩等于非0特征值的个数；是可逆的，所以等式两边同乘。i. 特征值和特征向量，对应的两个特征向量是。
2024-05-08 21:18:11
754
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人