AIGC妙笔生花，“诗人艺术家”点亮古诗

最新推荐文章于 2024-09-30 18:15:20 发布

叶锦鲤

最新推荐文章于 2024-09-30 18:15:20 发布

阅读量1k

点赞数 18

文章标签： AIGC

本文链接：https://blog.csdn.net/YeJuliaLi/article/details/135301250

版权

女儿

爸爸，帮我看一下这句诗是什么意思呀？

我帮你看下哦，这句诗是……

老爸

女儿

这样啊，那这句呢？（女儿眨着眼睛好奇的看着父亲）

emmm…

老爸

启迪初现：奶爸与古诗的奇妙邂逅

Robin Yao是微软大数据分析平台Cosmos的Senior PM，同时也是一位奶爸，在家时经常陪女儿学习。女儿在上小学，对中国的古诗十分感兴趣，整天拿着不懂的诗句来问他含义，Robin也很耐心的解释，这些古诗，有时比较容易解释清楚，然而碰到稍微晦涩难懂的诗句，一两句话也很难让小朋友听明白，如果要解释太深入，又怕女儿听不懂，也不直观，这时候Robin就有些头疼了。

机缘巧合，在微软AI School的学习过程中刚好碰到了AIGC相关的学习内容，Robin因此受到了启发，于是在团队的项目提案环节中，他提议：要不然做一个自动生成古诗释义和插图的工具吧！

大家一拍即合，于是“Poem Artists”就这样投入开发了。

Poem Artists，中文名称是“诗人艺术家”，是微软AI School中创新性的项目之一，旨在将中国古诗注入现代生活中。通过这个工具，可以给成百上千甚至上万首古诗自动化生成通俗易懂的释义，并为每一首诗生成生动的插图。这样一来，人们能够更轻松地理解古诗的含义，同时享受到艺术插图的视觉盛宴。生成的插图，满眼的中国风，高山流水，大漠孤烟，诗中的景象甚至意境都跃然纸上。

Poem Artists的开发团队是大家在AI School 的学习过程中相识组建的，团队一共5名成员，分布在北京，上海，苏州三座城市，跨越了几千公里，但丝毫没有影响大家的沟通和交流，每位成员都为这个项目贡献出了自己的力量，大家各司其职，成功的将这个项目落地。

Poem Artists团队成员

诗意绘梦：Poem Artists从无到有的破茧之路

目前Poem Artists为唐宋时期著名的一百首古诗生成了释义和插图，并印刷成册，在微软内部进行传阅，反响非常棒，得到了诸多同事的认可。在本篇文章最后，为大家链接到了Poem Artists生成的作品供大家欣赏。在这些作品中，在这些作品中，你将看到《静夜思》里皎白月光下的孤独夜色下诗人内心的孤独和对远方亲人的思念之情，《早发白帝城》中水急流速，舟行若飞及诗人离别时的深情与不舍，对于诗词的解释也是合乎诗意的，可以直观感受到这个工具所达到的水平。

然而在开发过程当中，项目组也遇到了一些难题和选择。例如模型对诗词的理解不准确，或者会生成一些比较敏感的词导致图片不符合要求等。但是经过不断调整解释规则和提示词调优，这些问题得到了妥当的解决。

要实现解释诗句和生成插图的目的，要求这套工具要完成两个步骤：

1. 由诗词生成中英文双语解释；

2. 根据提示词规则生成图片描述，并由此进行图片生成。

不过在图片生成之前，有一项重要的工作要完成，就是给prompt加上一些规则。我们以赵翼的《论诗》为例，如果不加限定的话，生成的图片可能会变成这个样子:

显然，上图中这几位人种肤色以及形象是外国人的样子，绘画风格比较偏向现代，如此定不符合中国古诗的意境和场景。于是项目成员尝试给prompt里添加Rules和Guideline，不符合要求的元素逐渐被剔除，不断测试后，整幅画更偏向中国传统画风格了。

市面上目前有很多不错的图片生成工具，至于选用何种工具，项目组成员做了多次讨论，最开始使用DALL·E 2和ChatGPT进行图片生成，但是在这个版本中，诗词中很多要素不齐全，也缺失了一些细节，没有达到想要的效果，在项目组修改优化了提示词之后发现仍然效果不佳，于是把目光转向了其他的模型和工具，选用了DALL·E 3和Midjourney，使用过之后发现，这两种工具用最简单的提示词即可生成效果不错的插图。因为质量上两者不分伯仲，于是选用了自家工具DALL·E 3。不得不说，Robin的理由十分坦诚。

《池上》白居易两种工具对比

以下这四幅图清楚体现出插图生成的迭代过程，最左边的图片虽说插图也能体现诗词内容，但过于简单的绘画线条和鲜艳的色彩，无法体现出诗中春夜中春雨润泽万物意蕴清幽意境，经过团队成员不断尝试和努力之后，“儿童绘画”逐渐“进化”，艺术水平得到大幅提升。

对于图片生成效果的评估，目前采用人工打分投票的机制，小组成员对每一张图片的效果，图片各要素与提示词的关联匹配程度进行打分，取平均值。评估过程目前还没形成自动化的流程，仍需人工评估，这部分的自动化也将是后续优化完善的其中一个方向。

如今诗词释义和插图已经印刷为实体书，虽没有正式出版，也没有来得及精美装帧，但是书中的图片已足够引人入胜。Robin把这本书带回家中给自己的女儿看了，如今她整天捧着这本书，爱不释手，非常爱看，尽管这是人工智能生成的，但在此刻每个像素都洋溢着温情。

Poem Artists生成的插图现已印刷成册

女儿

爸爸，看着这本书的图画，我背了好几首诗了，你们做的好厉害！(女儿抱着这本书)

你想不想也画一画呀

老爸

女儿

想呀！真的可以吗！(女儿有点兴奋地跳了起来)

现实考验：Poem Artists应用与未来图景

AIGC作为人工智能技术的一个分支，正在逐步改变着创意产业的格局。在AIGC的蓬勃发展中，我们看到了无限的创造力。这个领域的技术不仅令人瞩目，而且正在为艺术家和创作者们提供新的工具和平台，以实现前所未有的创意表达。正如“诗人艺术家”所展示的那样，AIGC技术在解释古诗、生成插图的过程中发挥了关键作用，这项工具在未来可能会延伸于多个领域，而不仅仅局限于中国的古诗，像是生成小说、散文、童话寓言故事等等的插画也信手拈来，此外，在需要解释含义，制作插图的场景下，或许都有可能见到这位“诗人艺术家”的影子，经由不断打磨，这套工具可能还会跨行做一些其他设计，Robin表示未来可能还会涉足服装设计等方面。

"诗人艺术家"项目以及AIGC的发展，将在文化、艺术和科技的融合中引领未来发展的方向，创造出更加丰富多彩的人工智能应用场景。Robin提到，在图书出版行业，插图设计和制作是一项繁重的工作，因为它需求量大且要求较高，如果采用“诗人艺术家”自动化流程，将大大节省成本和时间，提高效率，将人从繁重的工作当中解放出来。此外，这项工具还可以给插图设计师提供灵感，让这些艺术插图在AI和人类的交互中碰撞出新的火花。至于为什么Robin会提到图书出版行业，与他的另一个身份有关，因为他的太太从事于这个行业，Robin讲到，自己做的这个项目日后可能会帮助她创造出更多的可能性。

Robin说女儿很喜欢写故事，在谈到产品未来发展方向时，提到或许可以让女儿来编写故事，自己使用这套工具替女儿把故事中的情节形象化，变成一个个插图，编辑一本童书出来，通过这套工具给女儿的想象插上更大的翅膀，激发她的创造力，帮助孩子成长。同样，这样一套工具也可以帮助更多小朋友发挥想象力，帮助更多父母丰富家庭教育的内容。

这个项目的缘起是因为女儿，关于项目未来的计划也没离开女儿，有Robin这位超级奶爸，这位小公主一定会茁壮而又充满生命力地成长。

当然，这套工具还有不足之处，比如对古代诗人所表达的深层次内涵理解不准确、一小部分生成的图片并不完全符合要求，不过幸运的是Robin和他的伙伴一直在路上，不断优化这套工具，相信这位“诗人艺术家”将会更加出色。通过它，带领人们走进时光交错的画卷，在这幅画卷中，AI的纤巧之手轻抚着古老的文字，赋予它们当代的呼吸和力量。

“我女儿非常喜欢这本书”，采访过程是在线进行的，虽然隔着屏幕，但还是能够听出来自一位父亲的成就感。