有效提示词设计详解,解锁视觉创作无限可能

亚马逊云科技在Amazon Bedrock上推出了两个新的创意内容生成模型:用于图像生成的Amazon Nova Canvas用于视频生成的Amazon Nova Reel。这两个模型可将文本和图像输入转化为自定义视觉效果,为专业项目和个人项目开辟无限创作机会。

Amazon Nova Canvas是先进的图像生成模型,可通过文本和图像输入创建专业级图像,是广告、营销和娱乐应用的理想选择。Amazon Nova Reel是先进的视频生成模型,支持通过文本和图像输入创建短视频,并可使用自然语言控制镜头运动。尽管这些模型都是强大的创意表达工具,但其效果在很大程度上取决于用户能否通过提示词,准确传达其创作想法。

本文将深入探讨Amazon Nova Canvas和Amazon Nova Reel的提示词工程,分享一些经过验证的方法,让您能以模型可理解的方式描述主题、环境、灯光和艺术风格。对于Amazon Nova Reel,将探讨如何通过自然语言有效传达镜头的运动和过渡效果。无论您是在创作营销内容、设计原型,还是探索创意想法,这些提示词策略都能帮助您充分挖掘Amazon Nova的视觉生成潜力。

解决方案概述

要开始使用Amazon Nova Canvas和Amazon Nova Reel,您可以在Amazon Bedrock控制台中使用图像或视频Playground,或者通过API访问模型。有关账户要求、模型访问权限和必要许可等详细设置说明,请参阅《使用Amazon Nova生成创意内容》。

《使用Amazon Nova生成创意内容》

https://docs.aws.amazon.com/nova/latest/userguide/content-generation.html

使用Amazon Nova Canvas生成图像

为Amazon Nova Canvas这类图像生成模型编写提示词,既是一门艺术,也是一门科学。与大语言模型(LLM)通过逻辑推导响应指令不同,Amazon Nova Canvas不会明确推理或解释基于命令的指令。相反,它是根据提示词捕捉所需图像本质的程度,再将提示词转化为图像。编写有效提示词是充分发挥该模型在各种用例中潜力的关键,下文将探讨如何编写有效提示词,研究有效提示词的基本要素,并深入探讨典型用例,且每个案例都附有提示词示例。

有效提示词的基本要素

有效提示词应该类似于描述性的图像标题,而非基于命令的指令。它应该提供足够的细节来清楚地描述期望结果,同时保持简洁(限制在1024个字符以内)。与其提供“画一幅美丽的日落”之类的命令式指令,不如像欣赏日落一样描述场景:“低角度拍摄,山间夕阳充满活力,金色余晖穿过粉色云层”,就像用文字描绘一幅生动的画面,从而有效地引导模型。

有效提示词首先要明确定义主体和动作:

  • 主体:明确定义图片主体,例如“一辆蓝色跑车停在一栋豪华别墅前”。

  • 动作或姿态:明确主体正在做的动作或如何摆放的姿态,例如“跑车略微朝向镜头,车门打开,展示其时尚内饰”。

进一步添加更多背景信息:

  • 环境:描述场景或背景,例如“俯一栋俯瞰科莫湖的宏伟别墅,周围是修剪整齐的花园和波光粼粼的湖水”。

确定图像的主要焦点后,您可以通过指定视觉风格、构图、灯光和技术参数等附加属性,进一步细化提示词,例如以下元素。

  • 灯光:包括灯光细节以营造气氛,例如“多云的天空洒下柔和的散射光线,突出了汽车光亮的表面和别墅的石质外墙”。

  • 相机位置和构图:提供关于视角和构图的信息,例如“广角镜头捕捉到前景中的汽车和背景中的宏伟别墅,远处可见科莫湖”。

  • 风格:提及视觉风格或媒介,例如“以电影风格呈现,具有鲜明、高对比度的细节”。

最后,您还可以使用否定提示词来排除构图中的特定元素或人工痕迹,使其更贴近您的预想。

  • 否定提示词:使用negativeText参数排除主提示词中不需要的元素。例如要从图像中删除任何鸟类或人物,与其在提示词中添加“没有鸟类或人物”,不如在否定提示词中添加“鸟类、人物”。避免在主提示词和否定提示词中都使用“无”、“不”或“没有”等否定词,因为这可能会导致意想不到的结果。

如下所示,通过对比基础版和优化版两种示例提示词,把这些元素结合在一起,来展示上述技巧的实际应用效果。

基本版提示词:一辆汽车停在一座房子前面

优化版提示词:一辆蓝色豪华跑车停在俯瞰科莫湖的豪华别墅前。周围是精心修剪的花园,背景是波光粼粼的湖水和远处的群山。汽车光滑锃亮的表面与周围的优雅环境相映成趣,阴云密布的天空中柔和的漫射光线为其增色不少。广角镜头捕捉到汽车、别墅和湖泊的和谐画面,以电影风格呈现生动、高对比度的细节。

图像生成提示词示例

通过掌握上述技巧,您可以使用Amazon Nova Canvas为各种应用创建精彩的视觉效果。以下图像是使用Amazon Nova Canvas以1280×720像素分辨率生成的,CFG比例为6.5,种子值为0,以确保可重复性。有关参数详细说明,请参阅《图像生成的请求和响应结构》。这种分辨率也符合Amazon Nova Reel预期的图像尺寸,可以无缝集成到视频实验中。

《图像生成的请求和响应结构》

https://docs.aws.amazon.com/nova/latest/userguide/image-gen-req-resp-structure.html

下文继续通过一些示例提示词及其生成的图像,展示技巧的实际应用效果。

俯瞰稀疏的北极苔原景观,辽阔的白色地形上蜿蜒着冻结的河流,散布着岩石构造。高对比度的黑白构图展示了冰雪的精细图案,强调了纹理和地质多样性。鸟瞰视角捕捉到了北极荒野的抽象之美。

俯拍放在反光表面上的高端头戴式耳机,展示其设计的对称性。戏剧性的侧光突出了曲线的轮廓和边缘,投下微妙的阴影,彰显了产品的高端品质。

高端哑光金属水瓶的斜视图,配以竹制装饰,凸显其流畅的线条。背景是朦胧宁静的山湖景色。黄昏时分的阳光在水瓶表面洒下温暖的光辉,突显其质感。采用浅景深拍摄,以突出产品。

一幅水彩画,画面中一只可爱的幼龙蹲在花园水坑边,它长着珍珠般的薄荷绿色鳞片,小小的翅膀翘着。柔和的粉彩花朵和叶子构成了画面的边框。采用湿画法,营造出梦幻般的氛围,阳光在水坑的涟漪上闪烁。

从数字屏幕中浮现的抽象图形,故障艺术美学,带有RGB色彩偏移、碎片化像素簇、高对比度扫描线,以及由体积光投射出的深邃阴影。

一幅经验丰富的渔夫的特写肖像,他的脸占满了整个画面。他浓密的灰白胡子上点缀着海水飞沫,针织帽拉得低至遮住了额头。夕阳的温暖光芒将他饱经风霜的面容沐浴在金色的光辉中,柔化了脸部的线条,却依然保留着多年海上生涯所铸就的性格特征。他的眼睛映射出身后港湾的平静水面。

使用Amazon Nova Reel生成视频

视频生成模型在处理描述性提示词时效果最好,而不是命令式指令。在编写提示词时,应专注于您想要看到的内容,而不是告诉模型该做什么,正如在撰写详细的标题或场景描述时,要像解释一段已经存在的视频一样。例如,描述主要对象、对象行为、周围环境、场景光线、整体艺术风格以及任何镜头运动等元素,都有助于生成更准确结果。

关键在于通过描述来描绘出一幅完整画面,而非给出逐步指导。这意味着,与其说“创造一个戏剧性的场景”,不如描述为“日落时分的暴风雨海滩,巨浪滔天,乌云密布,用航拍镜头缓慢掠过海岸线”。您对所需视觉元素的描述越具体越详细,比如描述主题、动作、环境、灯光、风格和镜头运动等细节,输出结果就会越好。

在为Amazon Nova Reel编写视频生成提示词时,请注意以下要求和最佳实践。

  • 提示词不得超过512个字符。

  • 为获得最佳效果,请将镜头运动描述放在提示词的开始或结尾处。

  • 明确说明要包含的内容,而不是要排除的内容。例如与其说“水果篮里没有香蕉”,不如说“水果篮里有苹果、橘子和梨”。

在视频提示词中描述镜头运动时,请具体说明您想要的运动类型:平滑地推镜头(前后移动)、摇镜头(左右扫动)、还是倾斜镜头(上下移动)。为获得更具动态效果的画面,您可以要求航拍镜头、环绕运动或推拉变焦等特殊技巧,您还可以指定运动速度。更多技巧,请参阅摄像机控制文档。

摄像机控制文档:

https://docs.aws.amazon.com/nova/latest/userguide/prompting-video-camera-control.html

视频生成提示词示例

Amazon Nova Reel的输出成果如下所示。

单个红气球在空旷的地铁隧道中漂浮的右移镜头。气球内部发出光芒,在混凝土墙上投下柔和的红光。4K电影画质,氛围感灯光。

推近镜头拍摄一只宁静的鹿在森林小溪边饮水。阳光透过树林,其他鹿和森林植物形成美丽的焦外成像。4K电影画质。

拍摄现代厨房中的平底锅,镜头从下往上摇拍并平移,展现一盘顶部浇有浓奶油白酱、蘑菇和大蒜的通心粉,热气腾腾。

环绕镜头拍摄置于抛光大理石表面上的水晶灯泡,灯泡内部有金色的齿轮缓缓旋转,散发出柔和的金光。高端灯光效果,4K电影画质。

使用Amazon Nova Reel

生成基于图像的视频

除了基本的文本生成视频功能外,Amazon Nova Reel还支持图像生成视频,支持您使用输入参考图像来指导视频生成。使用基于图像的提示词生成视频具有显著优势:它不仅能加速您的创意迭代进程,还能让您精准把控最终输出成果。您无需再完全依赖文本描述,而是可以直接通过图像来明确视频的开场方式。这些图像可以来自Amazon Nova Canvas,也可以您拥有使用权的其他任何来源。实施这一方法主要有两种策略:

  1. 简单镜头运动:首先使用您的参考图像来确定视觉元素和风格,然后添加最少的提示词,仅关注摄像机运动,如“向前移动”。这种方法在保持场景基本静态的同时,通过摄像机方向创造动态运动效果。

  2. 动态变换:这种策略涉及描述场景中的具体动作和时间变化,详细说明元素应如何随着时间的推移而变化,您需将描述作为所需变换的概要,而不是逐步命令。这样就可以实现更复杂的场景演变,同时保持参考图像所建立的视觉基础。

这种方法将图像作为视觉基础,简化了创作流程。您可以在Amazon Nova Canvas中快速创作图像,或从其他来源获取图像,并将其作为Amazon Nova Reel的创作起点,而无需耗时调整文本提示词以获得理想视觉效果。相较于纯文本生成视频的方式,这种方法能更快地完成迭代,且结果更可预测。

将Amazon Nova Canvas创作的图像作为参考帧,然后使用Amazon Nova Reel生成视频。

缓慢向前推(镜头)。

一部3D动画电影:一条薄荷绿的小龙正在讲话。情感丰富,动画质量高超。

镜头右移,展现一个高档哑光金属水瓶,水瓶上有竹制装饰,背景是宁静的山间湖泊,湖面涟漪荡漾。

环绕镜头拍摄置于反射性表面上的高端头戴式耳机。艺术性的侧光突出了耳机的曲线和边缘,投下微妙的阴影,彰显了产品的高端制造品质。

组合视频片段

您可以将生成的多个视频片段组合成一段引人入胜的完整故事,从而改变叙事方式。虽然视频素材由Amazon Nova Reel生成,但您可以通过您偏好的视频编辑软件进一步丰富内容,如添加创意转场、背景音乐和旁白解说,从而打造沉浸式的视听体验。

如下视频充分展现了Amazon Nova Reel在制作高质感视觉叙事方面的能力,每个片段均配备专业灯光,呈现电影级画面效果。

最佳实践

以下是一些最佳实践方法,供您参考。

  • 迭代优化:从简单提示词开始,根据输出结果优化提示词。

  • 具体明确:提供详细描述以获得更佳结果。

  • 多样化形容词:避免过度使用“美丽”或“惊人”等常用的描述词,如可以选择“宁静”或“华丽”等具体词汇。

  • 利用AI优化提示词:使用Amazon Nova(Pro、Lite或Micro)等多模态理解模型,帮助您将高层次的创意想法转化为基于最佳实践的完善提示词。生成式AI还可以帮助您快速生成提示词的不同变体,以便您尝试不同的风格、构图等组合以及其他创意性探索。您可以尝试使用社区开发工具,如Amazon Nova Canvas Prompt Refiner in PartyRock、Amazon Nova Canvas Prompting Assistant和Amazon Nova Reel Prompt Optimizer。

  • 维护模板化提示词库:建立有效提示词及其结果的目录,以便随时间推移进行完善和调整,为常见场景创建可重复使用的模板,以节省时间并保持一致性。

  • 向他人学习:探索社区资源和工具,了解有效提示词并加以调整。

  • 紧跟趋势:关注更新或新模型功能,因为提示词行为可能会随着新功能的出现而发生变化。

Amazon Nova Canvas Prompt Refiner in PartyRock:

https://partyrock.aws/u/r3al1ty/40htNf4iH/Amazon-Nova-Canvas-Prompt-Refiner

Amazon Nova Canvas Prompting Assistant:

https://github.com/garystafford/amazon-nova-canvas-prompting-assistant

Amazon Nova Reel Prompt Optimizer:

https://github.com/xiehust/reel_optimizer

Amazon Nova提示词工程

Amazon Nova Canvas和Amazon Nova Reel的有效提示词工程遵循迭代过程,旨在优化输入并达到期望输出。这一迭代过程正如下图所示的逻辑流程。

该过程包括以下步骤:

  1. 首先构思初始提示词,重点关注主题、动作、环境、光线、风格和镜头位置或运动等描述性元素。

  2. 生成第一个输出结果后,评估其是否符合设想,如果结果接近预期效果,请继续下一步。如果不符合预期,请返回第一步,优化提示词。

  3. 找到一个有潜力的创作方向后,请保持相同的种子值,以便在您进行微调时,保持后续生成输出的一致性。

  4. 对您的提示词进行小范围、针对性的修改,包括调整描述词、添加或删除元素等。

  5. 使用优化后的提示词生成新的输出,同时保持种子值不变。

  6. 评估新的输出。如果对输出结果满意,请继续下一步,否则请返回第4步继续优化。

  7. 获得满意结果后,尝试使用不同种子值来创建成功提示词的变体,以便在保持所需输出核心元素的同时,探索细微差异。

  8. 从生成的选项中选出最佳变体作为最终输出。

这种迭代方法能够系统改进提示词,从而使Amazon Nova Canvas和Amazon Nova Reel模型生成更加准确、更具视觉吸引力的结果。值得注意的是,成功的关键在于循序渐进地做出改变,在必要时保持一致性,并在成功后勇于探索各种变体。

总结

本文介绍了如何为Amazon Nova Canvas和Amazon Nova Reel设计有效提示词工程,从而解锁创作惊艳图像和精彩视频的无限可能。按照本指南中概述的最佳实践,从构思描述性提示词到迭代优化,您可以将创意想法转化为生产级的视觉资产。

立即访问Amazon Bedrock控制台,在Amazon Bedrock Playground中体验Amazon Nova Canvas和Amazon Nova Reel,或通过使用API开启创作之旅。有关详细规格、支持功能以及更多示例,请参阅以下资源。

Amazon Bedrock控制台:

https://console.aws.amazon.com/

利用Amazon Nova生成创意内容:

https://docs.aws.amazon.com/nova/latest/userguide/content-generation.html

Amazon Nova内容创作模型的最佳实践指引:

https://docs.aws.amazon.com/nova/latest/userguide/prompting-creation.html

本篇作者

Yanyan Zhang

亚马逊云科技高级生成式AI数据科学。作为生成式AI专家,她始终致力于最前沿的人工智能与机器学习技术的研发,帮助客户利用生成式AI达成目标。她毕业于德克萨斯农工大学,获得电气工程博士学位。

Kris Schultz

过去25年里,Kris一直致力于将新兴技术与世界一流设计相结合,为用户提供一系列引人入胜的体验。作为Amazon AGI高级解决方案架构师,他在亚马逊云科技自主研发的生成式AI模型的发展中发挥重要作用。Kris热衷于通过生成式AI工具和知识,为各类用户和创作者提供支持。

Sanju Sunny

Amazon Prototyping&Cloud Engineering生成式AI设计技术专家,专注于战略、工程以及客户体验领域。他与不同行业客户紧密合作,借助亚马逊云科技以客户为中心的创新机制,快速构思、验证并开发出创新的产品、服务和体验原型。

Nitin Eusebius

亚马逊云科技高级企业解决方案架构师。Nitin在软件工程、企业架构以及人工智能与机器学习领域拥有丰富经验,热衷于探索生成式AI潜力。他与客户携手合作,帮助他们利用亚马逊云科技服务构建架构精良的应用程序,并致力于解决客户技术挑战,助力客户踏上云上之旅。

星标不迷路,开发更极速!

关注后记得星标「亚马逊云开发者」

听说,点完下面4个按钮

就不会碰到bug了!

点击阅读原文查看博客!获得更详细内容!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值