新一代“垫图”神器，IP-Adapter的完整应用解读

于 2023-12-15 11:04:56 发布
阅读量5.1k 收藏 25
点赞数 27
文章标签： 人工智能 AI作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JDDTechTalk/article/details/135012405
版权

导读

不用训练lora，一张图就能实现风格迁移，还支持多图多特征提取，同时强大的拓展能力还可接入动态prompt矩阵、controlnet等等，这就是IP-Adapter，一种全新的“垫图”方式，让你的AIGC之旅更加高效轻松。

都是“垫图”，谁能还原你心中的图

“垫图”这个概念大家肯定都不陌生，此前当无法准确用prompt描述心中那副图时，最简单的办法就是找一张近似的，然后img2img流程启动，一切搞定。

可img2img简单的同时，也有它绕不过去的局限性，比如对prompt的还原度不足、生成画面多样性弱，特别是当需要加入controlnet来进行多层控制时，参考图、模型、controlnet的搭配就需要精心挑选，不然出图效果常常让人当场裂开…

但现在，我们有了新的“垫图”神器——IP-Adapter，在解读它之前，先来直观的感受一下它的效果。

效果可以说相当炸，那IP-Adapter就是终极答案了么？它的泛化性如何？兼容性是否足够？对prompt支持怎么样？当真的要接入现实工作中它还有什么拓展的能力呢？让我们一一来看。

IP-Adapter的核心优势，只画你关心的事

IP-Adapter和img2img虽然在操作上都是“垫图”，但它们的底层实现可以说是毫无关系。

用个不严谨但好理解的例子，“IP-Adapter”和“img2img”就是两位画师，现在给出prompt要求它俩画一个男人，在不提供参考图的情况下，它们大概都会画成图1的模样，但是当我们加上参考图2的时候，两者的区别就显现了。

img2img相当于直接盖在参考图上开始临摹，虽然知道要画个男人，但会在老虎的基础上去修改，始终会很别扭，中间不免出现老虎和男人混淆的情况，画出一些强行混合不知所谓的图来。因为在这个流程中，参考图更为重要，一切是在它基础上画出来的，结果也更倾向于参考图

最低0.47元/天 解锁文章
博客
业务复杂度治理方法论--十年系统设计经验总结
09-05 1584
软件设计的核心在于降低复杂性。--《软件设计的哲学》业界对于复杂度并没有统一的定义，斯坦福教授John Ousterhout从认知负担和工作量方面给出了一个复杂度量公式子模块的复杂度cp乘以该模块对应的开发时间权重值tp，累加后得到系统的整体复杂度C这里的子模块复杂度cp是一个经验值需要注意：如果一个子系统特别复杂，但是很少使用及修改，也不会对整体复杂度造成太大影响。例：spring框架内部代码较为复杂，但由于几乎不需要我们去变动，所以对系统的整体复杂度影响并不大。
博客
【转载】golang内存分配
09-05 935
在 1.10 以前 go 的堆地址空间是线性连续扩展的, 比如在 1.10(linux amd64)中, 最大可扩展到 512GB. 因为 go 在 gc 的时候会根据拿到的指针地址来判断是否位于 go 的 heap 的, 以及找到其对应的 span, 其判断机制需要 gc heap 是连续的. 但是连续扩展有个问题, cgo 中的代码(尤其是 32 位系统上)可能会占用未来会用于 go heap 的内存. 这样在扩展 go heap 时, mmap 出现不连续的地址, 导致运行时 throw.
博客
自增主键去哪了?---一次开发过程中的思考
09-05 1138
MySQL是作为大家都经常接触的DB，相信大家都会有一定的认知，自增主键不连续大家肯定也遇到过，这次在联调过程中遇到这个情况，在跟别的小伙伴分享的时候，突然就想写一篇文章，文章里面如果有不正确或者不准确的地方也欢迎大家斧正~说实话，作为一名交易端的研发人员，业务开发任务压力真的蛮大的，我也迷茫过，如何在这个过程中成长，珍惜我们遇到的问题，将遇到的问题记录在册，深追问题，你会发现有很多问题其实真的是因为我们某些知识的薄弱点造成的。
博客
万字长文浅谈三高系统建设方法论和实践
09-04 1770
整个软件的发展历程是一部软件复杂性对抗史，软件的复杂性分为技术复杂性和业务复杂性，业务复杂性主要是建模和抽象设计，技术复杂性主要是三高（高性能，高并发，高可用）的应对，C端的业务一般以技术复杂性为主，业务复杂性为辅，而B端或者M端的业务通常以业务复杂性为主，技术复杂性为辅。本篇文章主要是从后端研发的视角结合自己多年的B C端系统建设实践谈下三高系统的建设方法论和实践，希望和大家相互交流，共同进步，同时这是我参与创作者计划的第1篇文章。
博客
Vision Pro开发实践（结合24黑马idea）
09-04 1551
利用ModelEntity加载模型，添加到RealityView的content中展示，这样可以对模型做各种操作，比如添加子模型，修改光照，材质等要素。举个例子来讲，我需要在运动鞋模型“sneaker”上面添加一个可以与用户交互的白色圆点模型，用于在用户点击的时候添加/展示对应部分的评价。这次结合的idea是我参加黑马比赛时想到的，主要内容是：在商品评价时增加商品的3D模型，用户可以在虚拟现实环境中查看商品的3D模型，并对模型的特定位置进行评论。：通过3D模型动画，用户可以直观地了解产品的特性和使用方法。
博客
买药秒送 JADE动态线程池实践及原理浅析
09-04 1356
买药秒送是健康即时零售业务新的核心流量场域，面对京东首页高流量曝光，我们对频道页整个技术架构方案进行升级，保障接口高性能、系统高可用。动态线程池是买药频道应用的技术之一，我们通过3轮高保真压测最终初步确定了线程池的核心参数。但我们仍面临一些保障系统稳定性问题：如何监控线程池运行状态？以及因流量飙升出现任务堆积和拒绝时能否实时报警，线程池核心参数能否做到不重启应用，动态调整即时生效？经调研，业界成熟的动态线程池开源项目有dynamic-tp和hippo4j。
博客
从原理聊JVM（一）：染色标记和垃圾回收算法
09-04 1344
本篇介绍了JVM中垃圾回收器相关的基础知识，后续会深入介绍CMS、G1、ZGC等不同垃圾收集器的运作流程和原理，欢迎关注。。
博客
BFF层聚合查询服务异步改造及治理实践
09-04 1330
本篇主要是思考如何依赖现有框架、环境的能力，从代码层面系统化的实现相关治理规范。最后仍引用王晓老师文章结尾来结束。
博客
QPS提升10倍的sql优化
09-04 1254
总结本次优化经历•慢sql 往往是影响数据库性能的大瓶颈，sql写好了不但可以优化性能，还能节约机器成本，降本增效。•最好能看到sql语句执行的第一现场，本次主要是由于查看代码时没有及时注意到索引字段的传参类型不对这一细节，造成花了很多时间分析问题•虽然整个问题分析过程比较曲折，但问题分析的方向应该还是对的，过程中学到不少知识。•表结构的设计也有一些历史遗留原因，site_id 字段在表中定义为整型可能比较符合业务含义。表字段定义和业务含义一致，写sql也不容易犯错。
博客
一站式统一返回值封装、异常处理、异常错误码解决方案—最强的Sping Boot接口优雅响应处理器
09-04 1401
Graceful Response内置了两种风格的响应格式，可以在文件中通过进行配置。•gr.responseStyle=0，或者不配置（默认情况）"msg": "有内鬼，终止交易"},"data": {•自定义响应格式如果以上两种格式均不能满足业务需要，可以通过自定义去满足，Response@Override@Override@Override@Overridereturn msg;注意，不需要返回的属性可以返回null或者加上注解。
博客
【原创】【深入浅出系列】之代码可读性
09-04 1250
原创声明：该文章是个人在项目中亲历后的经验总结和分享，如有搬运需求请注明出处。这是“深入浅出系列”文章的第一篇，主要记录和分享程序设计的一些思想和方法论，如果读者觉得所有受用，还请“一键三连”，这是对我最大的鼓励。一句话：见名知其义。有人说好的代码必然有清晰完整的注释，我不否认；也有人说代码即注释，是代码简洁之道的最高境界，我也不否认。但我都不完全接受，如果照搬前者，有人会在每个方法、每个循环、每个判断都添加大量注释，对于一个表达不严谨的coder来说，代码与汉字可能词不达意；
博客
动态化-鸿蒙跨端方案介绍
09-04 1883
动态化目前已经具备一份代码在iOS、Android、H5三端运行的能力，该方案就是将动态化一码多端能力对接到鸿蒙系统，降低首次适配研发投入；一次开发，四端共用，长期降低业务迭代成本；并且使业务具备随时发布能力。。
博客
【ChatGPT应用篇-1】助力Beauty代码的初体验
09-03 999
以下是一个与ChatGPT 结对编程的一个Excel数据解析案例，大家可以根据我的思考过程进行体验，以下放了一些截图，ChatGPT的反应速度惊人，代码版本一步步进行迭代优化，感触较深的是。对于ChatGPT输出的代码没有做仔细的Review及调试，但是看代码风格基本上是改改就能用于生产的，对于代码规范、命名还是很认可的！10.提升程序效率，把解析性能在提升10倍 （架构师的成本意识，这个问题的回答有点意思）6.替换掉 poi 采用EasyExcel （替换原始的默认技术选型，替换三方包）
博客
一文了解电商大促系统的高可用保障思路-献给技术伙伴们
09-03 1473
电商大促是电商平台组织的一种大型销售推广活动，目的是通过提供各种优惠、折扣等方法，提高商品销售额和网站流量，增加消费者的购物欲望，以实现销售目标。电商大促活动通常会在一些特定的节点或者节日举行，比如“双11”、“618”、“黑色星期五”等，这些时期的电商大促极具吸引力，既有大量的商品打折优惠，又有丰富多样的活动供消费者参与，是电商平台提升销售业绩的重要手段。
博客
一起单测引起的项目加载失败惨案
09-03 1426
是相对于静态编程而言的,平时我们讨论比较多的就是静态编程语言，例如Java，与动态编程语言，例如JavaScript。最近在开发一个功能模块时，在功能自测阶段，通过使用单测测试功能的完整性，在测试单测联通性使用到静态方法测试时，发现单测报错，通过查阅解决方案发现需要对。建议大家在构建Maven项目时，仔细检查POM文件中的依赖，确保没有漏掉任何必要的库，以免因为遗漏而引起不必要的问题。但是，在我们的POM文件中，虽然我们添加了对Spring框架的依赖，但是并没有添加。: 返回修改后的字节码。
博客
京东小程序折叠屏适配探索
09-03 1659
应用在折叠屏运行时，可以从一个屏幕切换到另一个屏幕。应用应该做好配置变更的适配和界面状态的保存，以保证应用当前任务能无缝迁移到转换后的屏幕，从而为用户提供出色的连续性体验。折叠屏作为未来Android屏幕发展的新趋势，具有很大的发展前景，做好折叠屏相关适配支持也势在必行。小程序相关适配已经跟随京东主站、小家App、小家三星预装版等发布上线，本文是作者进行相关适配的一些心得体会，如有不足敬请见谅，欢迎交流探讨。
博客
KubeCon China 2024全球大会在香港举行，京东云受邀参加探讨云原生、开源及 AI
09-03 680
和数字化大潮一样，在AI化的革命下，云端也在全面拥抱AI，并在方方面面变得更安全、更高效，让全球各行各业受益。大会首日吸引了来自全球 30 多个国家和地区的 1000 多名参会者，共同探讨云原生、开源及 AI 领域的前沿进展、核心技术和最佳实践。在京东云中，联邦Serverless服务基于联邦管理模型和Serverless应用模型，为联邦应用容器部署、弹性扩展和故障迁移提供JDOS应用容器控制服务。弹性扩缩容技术方案有很广大的应用前景，京东云内部也在进行大量的生产实践和验证。1. 多集群管理和分发实践。
博客
京东搜索重排：基于互信息的用户偏好导向模型
09-03 1335
。
博客
探索AC自动机：多关键词搜索的原理与应用案例
09-03 1200
目前，大多数自由文本搜索技术采用类似于Lucene的策略，通过解析搜索文本为各个组成部分来定位关键词。这种方法在处理少量关键词时表现良好。但当搜索的关键词数量达到10万个或更多时，这种方法的效率会显著下降，尤其是在需要与词典进行详尽对比的场景中。本文将介绍的Aho-Corasick（AC）自动机作为多模式匹配中的经典算法，不仅能够处理大规模文本数据，还能确保搜索过程的实时性和准确性。AC自动机可以被形象地比喻为一个超级找词机器。
博客
“前端”工匠系列（一）：合格的工匠，究竟该搞什么
09-03 786
有效的交流是需要以有效的信息为载体的。在用户端日志查询、特殊边界场景复现、日志排查定位故障等场景，“实时”就不是必要的，这种场景下一般采用T+1查询，但是又引入了大量级日志的存储周期的话题，一般企业应用级的用户日志保存14天就完全够用了，因为对于C端日志来说，更多的是对现场故障的复现、处理及跟进，如果算法策略对用户日志有需要，只需要在一定时间内采用处理任务对用户日志进行一次处理，把输出的标签、行为特征等关键数据存储就可以，基础的用户日志还是应该被存档或清除释放资源供给更有价值的最新日志来使用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值