AIGC
文章平均质量分 78
多恩Stone
聚焦时尚设计领域的高可用 AIGC,现于香港理工-人工智能设计研究所搬砖
展开
-
【SVG 生成系列论文(八)】如何生成 svg logo?IconShop: 通过自回归 Transformer 实现文本引导的矢量 Icon 生成
论文名:IconShop: Text-Guided Vector Icon Synthesis with Autoregressive Transformers (Siggraph Asia 2023)文章提出的模型输入为文本,模型输出为单色的、相对简单的矢量图 icon。介绍了 SVG 表示与 Token 化、掩码方案,本篇则介绍模型架构和具体的训练技巧。原创 2024-05-21 16:42:37 · 616 阅读 · 0 评论 -
【SVG 生成系列论文(七)】如何生成 svg logo?IconShop: 通过自回归 Transformer 实现文本引导的矢量 Icon 生成
本文将进一步介绍技术细节:SVG 表示与 Token 化,以及掩码方案。论文名:IconShop: Text-Guided Vector Icon Synthesis with Autoregressive Transformers (Siggraph Asia 2023)文章提出的模型输入为文本,模型输出为单色的、相对简单的矢量图 icon。原创 2024-05-21 15:18:09 · 474 阅读 · 0 评论 -
【SVG 生成系列论文(六)】如何生成 svg logo?IconShop: 通过自回归 Transformer 实现文本引导的矢量 Icon 生成
在本文中,我们将继续介绍一种非优化方法(直接生成 SVG 代码)的技术路线,这项工作名为 IconShop。IconShop 是在 StarVector 之前的同类研究,为这一技术路线的发展奠定了基础。本篇简要介绍背景和应用,后续文章将进一步介绍技术细节与相关代码。原创 2024-05-21 10:43:58 · 379 阅读 · 0 评论 -
【如何检查 ONNX 模型是否正确?】onnx.checker.check_model 用法详解
通过 onnx.checker.check_model 函数可以检查模型的一致性,即模型在结构、格式和配置方面的正确性和完整性。原创 2024-05-20 18:17:10 · 109 阅读 · 0 评论 -
【CLIP模型从.pt到.onnx】ValueError: Unsupported type for attn_mask: 5 已解决
在深度学习模型设计阶段(写论文、进行研究时),由于模型结构和参数经常变化,最常用的模型权重格式包括 .pt、.pth 和 .ckpt 等。原创 2024-05-20 13:58:52 · 467 阅读 · 0 评论 -
【SVG 生成系列论文(五)】Diffvg 矢量图生成的开山之作 —— MIT 与 Adobe 合作论文
本文简要介绍的 Diffvg 则属于 svg 生成与编辑领域的开山之作。论文全称:Differentiable Vector Graphics Rasterization for Editing and Learning(用于编辑和学习的可微分矢量图形光栅化)项目链接:https://github.com/BachiLi/diffvg。原创 2024-05-16 14:30:44 · 941 阅读 · 0 评论 -
【SVG 生成系列论文(四)】对 SVG 如何做数据增强?StarVector: Generating Scalable Vector Graphics Code from Images
本篇则详细介绍 StarVector 如何制作数据集的,以及文章提到的两个 SVG 相关工具。原创 2024-05-10 12:00:38 · 713 阅读 · 0 评论 -
【SVG 生成系列论文(三)】如何用 LLM 来生成 SVG 代码,StarVector: Generating Scalable Vector Graphics Code from Images
本篇则重点介绍数据和实验部分。StarVector 一文中提出了一个用于验证位图到矢量图生成的数据集SVGBench,其主要来源于 Glypazzn[1],DeepSVG[2],TheStack[3] 三个工作。如下图所示:对于不同的 Dataset (SVG-Fonts、Icons、Emoji和Stack)均拆为了训练、验证和测试集。SVG 简化(Simplification):由于 DeepSVG[2] 需要对其输入的SVG进行简化。原创 2024-05-09 22:03:19 · 975 阅读 · 0 评论 -
【SVG 生成系列论文(二)】用 LLM 来生成 SVG 代码,StarVector: Generating Scalable Vector Graphics Code from Images
StarVector 的模型可以分为两大块:(1)Image Encoder and Visual Tokens 和 (2)CodeLLM(StarCode)原创 2024-05-09 14:05:37 · 762 阅读 · 0 评论 -
【SVG 生成系列论文(一)】用 LLM 来生成 SVG 代码,StarVector: Generating Scalable Vector Graphics Code from Images
背景:可伸缩矢量图形(Scalable Vector Graphics,SVG)已经成为现代图像渲染应用程序中不可或缺的一部分,因为它们具有。方法:StarVector 是一种多模态SVG生成模型,它有效地集成了代码生成大型语言模型(CodeLLMs)和视觉模型。从以下对比中可以看出,StarVector 和 GPT-4 V 有类似的 SVG 生成功能。存在的问题:现有的使用深度学习进行SVG建模的方法通常难以生成复杂的SVG,并且仅限于需要。任务: 输入一张位图,输出一张位图对应的 SVG 矢量图。原创 2024-05-08 22:05:27 · 535 阅读 · 0 评论 -
【已解决】To enable repo look-ups and downloads online, pass ‘local_files_only=False‘ as input.
根据 config.yaml 中的提示“# Set this variable to True the first time it runs”,在 config.yaml 配置文件中将 diffuser 的 download 参数设置为例 True 后解决该问题。原创 2024-04-23 19:16:11 · 329 阅读 · 0 评论 -
【看不懂命令行、.yaml?】Hydra 库极速入门
Hydra 的名字来源于它能够运行多个类似的作业 - 就像一个多头的水怪一样。原创 2024-04-22 20:04:56 · 481 阅读 · 0 评论 -
【原创解决方案】ImportError: libcupti.so.12: cannot open shared object file: No such file or directory
背景:在下载 svgrender 库(https://pytorch-svgrender.readthedocs.io/en/latest/install.html)的最后一步时,遇到以下报错。原创 2024-04-22 14:51:01 · 753 阅读 · 0 评论 -
【 AIGC 研究最新方向(下)】面向平面、视觉、时尚设计的高可用 AIGC 研究方向总结
目前面向平面、视觉、时尚等设计领域的高可用 AIGC 方向有以下 4 种:1. 透明图层生成,2. 可控生成,3. 图像定制化,4. SVG 生成原创 2024-04-21 23:36:02 · 1027 阅读 · 0 评论 -
【 AIGC 研究最新方向(上)】面向平面、视觉、时尚设计的高可用 AIGC 研究方向总结
目前面向平面、视觉、时尚等设计领域的 AIGC 方向有以下 4 种:1. 透明图层生成,2. 可控生成,3. Train-free 的图像定制化,4. SVG 生成原创 2024-04-21 19:58:39 · 1217 阅读 · 0 评论 -
【Diffusers 学习(1)】from_petrained() 中的 use_safetensors 有什么作用?
官方文档:https://huggingface.co/docs/diffusers/v0.27.2/en/api/models/overview#diffusers.ModelMixin.from_pretrained原创 2024-04-17 15:17:55 · 284 阅读 · 0 评论 -
【Diffusers 报错解决】401 Client Error, 404 Client Error, OSError: models/image_encoder is not a local
解决 OSError原创 2024-04-16 16:50:56 · 339 阅读 · 0 评论 -
【LatentDiffusion 代码详解(1)】LatentDiffusion 的 yaml 解读
YAML 文件提供了一种清晰、简洁且易于理解的方式来描述配置信息,特别适用于机器学习模型的超参数调优和实验管理。原创 2024-04-16 16:36:33 · 1033 阅读 · 0 评论 -
【PyTorch Lightning】.ckpt 是什么?里面有什么?
在训练过程中保存模型的状态是一种最佳实践。这样可以在开发模型的过程中,在每个关键点上获得模型的一个版本,即一个检查点。一旦训练完成,您可以使用在训练过程中找到的性能最佳的检查点。与普通的 PyTorch 不同,Lightning 保存了你在最复杂的分布式训练环境中恢复模型所需的一切。官方文档:https://lightning.ai/docs/pytorch/stable/common/checkpointing_basic.html。检查点还使得训练在中断的情况下可以从中断的地方恢复。原创 2024-04-15 20:22:14 · 687 阅读 · 0 评论 -
【解决方案】File “setup.py“ not found‘(运行conda env create -f environment.yaml)
搭建 conda 环境时,运行以下代码遇到了 Error发现中包含了所以实际上是导致了错误那具体来看做了什么?-epip那么针对的解决方案则很简单,就是找到setup.py文件放到当前路径。原创 2024-04-14 16:19:26 · 498 阅读 · 0 评论 -
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字?图像篇(下)
文字图像生成(Text-image generation)”即生成带有指定文字的图像。如下图所示,市面常见的通用文生图很难准确地生成带有指定文字的图像。原创 2024-04-11 17:29:56 · 757 阅读 · 0 评论 -
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字?字体篇(上)
“文字图像生成(Text-image generation)”即生成带有指定文字的图像。如下图所示,市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染(Text rendering)。在图像生成中该任务至关重要,特别是文本在海报、书籍封面和表情包等各种视觉形式等广泛应用,这对 AIGC 在时尚、包装、平面、logo、字体、产品等众多设计领域的真正落地至关重要。相关研究分类。原创 2024-04-10 16:19:45 · 1228 阅读 · 1 评论 -
【保姆级教程】带有透明图层的 Layer Diffusion 在 ubuntu 上如何跑通
【保姆级教程】带有透明图层的 layer diffuse 在 ubuntu 上如何跑通原创 2024-03-27 17:16:24 · 1335 阅读 · 0 评论