OpenCV与AI深度学习 | 实战！利用多模态大模型生成绘本

本文来源公众号“OpenCV与AI深度学习”，仅用于学术分享，侵权删，干货满满。

原文链接：实战！利用多模态大模型生成绘本【文末送书】

🚀 引言

在数字时代，技术与创意的结合不断刷新我们的世界观。今天，我们要探索的是一个充满魔法的领域——AI绘本生成！想象一下，孩子们只需轻声说出想法，AI就能为他们绘制出一本本独一无二的绘本，这不再是梦！🌈

🧠 AI的想象力：从想法到绘本

AI如何理解孩子的奇思妙想？从简单的想法到丰富多彩的绘本，这背后可以凭借AI强大的想象力和创造力来实现。🤩这篇文章就带大家从头开始创建一个AIGC应用：“漫画家”，一句话就可以生成一篇绘本。

📚 故事生成：大语言模型的力量

故事是绘本的主题，一个好的故事更能引人入胜，勾起孩子们的兴趣📚。因此，我们需要一个可以自动生成故事的功能🛠️。大语言模型具有强大的文本生成能力，以ChatGPT为例，它写出的故事在一致性、流畅性等方面已经非常强悍了👍，对于人物名字、人物关系和环境的理解也很合理👥🌳。但是，生成的故事可能会过于平凡，缺乏细节和亮点😕。因此，我们需要在故事生成功能的开发中，考虑如何增加故事的吸引力✨，例如，增加一些惊喜和翻转的情节🎉，或者让故事更具有趣味性和教育性🎨📖。

我们选择调用百度文心一言的API来实现故事生成功能，并且使用了一种基于迭代反馈的策略来提升故事的趣味性和吸引力。如果有条件，也可以选择自行收集数据集，专门微调一个故事生成的模型。

我们的策略主要分为三个阶段，第一阶段，我们通过提供故事的背景信息，引导模型生成故事的初稿。在这个阶段，我们的指令是这样的：

你是一位优秀的儿童故事作家，现在你要写一篇童话故事，并通过这个故事传递深刻的哲理和思考。
接下来我给你几个关键信息：{key message}

然后，请你试着以这样的步骤逐步思考：
1.提炼核心思想，从关键信息中找出最主要的思想或主题，这将是故事的核心。
2.将核心思想与儿童故事相连接，创作一个富有想象力的世界，以及生动可爱的角色。
3.起一个有吸引力，充满童话色彩的标题，应当简短、生动，同时也要能够反映故事主题。
4.采用小朋友可以听懂的知识，不要使用太过复杂或专业的词汇。
5.儿童故事是一个充满了想象力和幻想色彩的世界，可以通过夸张、象征等手段来塑造故事中的角色和情节。
6.可以使用拟人的修辞手法，赋予鸟兽虫鱼、花草树木、家具、玩具等生命，使他们拥有人的思想感情。
7.童话故事应当表现出我们对美好的向往和追求，让孩子们在听故事的时候能够学到知识，同时也能够感受到快乐。
8.最后，你应当创作出独一无二