最近，新技术分享！附源代码

最新推荐文章于 2024-08-20 09:58:05 发布

计算机视觉研究院

最新推荐文章于 2024-08-20 09:58:05 发布

阅读量398

点赞数

本文链接：https://blog.csdn.net/gzq0723/article/details/134588981

版权

点击蓝字关注我们

关注并星标

从此不迷路

计算机视觉研究院

公众号ID｜计算机视觉研究院

学习群｜扫码在主页获取加入方式

计算机视觉研究院专栏

Column of Computer Vision Institute

最新最全的技术分享，还有源码、原论文地址分享。

【van-gonography：图片隐写工具，将数据文件隐藏在一张图像中】

vangonography - Hide your files of any type inside a image of your choice using steganography' Joshua | Tommaso

GitHub: github.com/JoshuaKasa/van-gonography

【用前向解码(Lookahead decoding)突破LLM推断的顺序依赖】

《Break the Sequential Dependency of LLM Inference Using Lookahead Decoding | LMSYS Org》

Lookahead decoding利用Jacobi迭代法，可以并行提取和验证n-gram，从而加速LLM的自回归解码过程。
每一步可以生成多个n-gram，而不是仅一个token，因此可以减少解码总步数，线性降低延迟。
Lookahead decoding直接利用LLM实现，简化部署，当增加每个步骤的计算量时，解码步数可线性减少。
当额外计算量很小时，可获得1.5-2.3倍的加速；如果分配更多计算资源，可以进一步减少延迟，但收益递减。
Lookahead decoding适用于对延迟非常敏感的应用场景，可以通过增加计算量来线性减少延迟。
实验结果显示，在多个数据集和模型上，Lookahead decoding可以实现1.5-2倍的推理加速。
只需要简单的代码修改，就可以加速LLM的解码过程，值得推广使用。
https://lmsys.org/blog/2023-11-21-lookahead-decoding/?continueFlag=031d9d14b8a3f68f1a1b786180d507e2

【Stability AI发布Stable Video Diffusion：用于高分辨率、最先进的文本到视频和图像到视频生成的潜视频扩散模型】

《Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets — Stability AI》

网页链接：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets?continueFlag=031d9d14b8a3f68f1a1b786180d507e2

GitHub: github.com/Stability-AI/generative-models

几篇论文实现代码

《LoSparse: Structured Compression of Large Language Models based on Low-Rank and Sparse Approximation 》(ICML 2023) GitHub: github.com/yxli2123/LoSparse
《Resurrecting Recurrent Neural Networks for Long Sequences》(ICML 2023) GitHub: github.com/NicolasZucchet/minimal-LRU
《Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting》(NeurIPS 2023) GitHub: github.com/amazon-science/unconditional-time-series-diffusion
《Unbalanced Optimal Transport for Unbalanced Word Alignment》(ACL 2023) GitHub: github.com/yukiar/OTAlign
《MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning》(2023) GitHub: github.com/gersteinlab/MedAgents
《LLMs cannot find reasoning errors, but can correct them!》(2023) GitHub: github.com/WHGTyen/BIG-Bench-Mistake
《Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels》(2023) GitHub: github.com/ML-GSAI/DPT
《Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs》(2023) GitHub: github.com/DAMO-NLP-SG/CaRing
《Hardware-Efficient Transformer Training via Piecewise Affine Operations》(2023) GitHub: github.com/epfml/piecewise-affine-multiplication
《FreeMan: Towards Benchmarking 3D Human Pose Estimation in the Wild》(2023) GitHub: github.com/wangjiongw/FreeMan_API
《Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering 》(2023) GitHub: github.com/LinjieLyu/DPI
《Plum: Prompt Learning using Metaheuristic》(2023) GitHub: github.com/research4pan/Plum

© THE END

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入！

ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！