昇思MindSpore原生论文 | 波洛克风格迁移绘画的分形和湍流特征提取及NFT标签生成

论文标题

Fractal and Turbulent Feature Extraction and NFT Label Generation for Pollock Style Migration Paintings Based on VGG19

论文来源

arXiv:2410.20519

论文链接

https://arxiv.org/pdf/2410.20519

代码链接

https://github.com/mindspore-lab/models/tree/master/research/arxiv_papers/pollock_vgg19

昇思MindSpore作为开源的AI框架，为开发人员带来端边云全场景协同、极简开发、极致性能的体验，支持国内高校/科研机构发表1700+篇AI顶会论文。为鼓励基于昇思MindSpore进行原生创新，昇思开源社区转载、解读系列原生arXiv论文，本文为昇思MindSpore AI arXiv论文系列第1篇。
作者：王一权 新疆大学数学与系统科学学院23级本科生

感谢各位专家教授与同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。更多内容请访问：
https://gitee.com/mindspore/community/issues/I9W2Z3

研究背景

在现代艺术领域，抽象艺术以其独特的表现形式和深厚的思想内涵占据重要地位。杰克逊·波洛克的滴画因其复杂的纹理和动态表现手法而成为抽象表现主义的经典之一。随着人工智能技术的迅速发展，尤其是深度学习模型（如VGG19）的应用，艺术创作进入了新的时代，AI技术为艺术家提供了创新的工具和灵感，拓展了艺术的表现边界。

图1. 波洛克滴画

与此同时，区块链技术的兴起，特别是非同质化代币（NFT）的应用，为数字艺术品的认证和交易提供了安全、透明和去中心化的平台。这一技术不仅确保了数字艺术品的唯一性和所有权的可追溯性，还促进了数字艺术市场的发展。因此，将人工智能与区块链技术结合，探索数字艺术创作与认证的新方法，成为当前研究的热点。

作者介绍

论文第一作者王一权是新疆大学数学与系统科学学院23级本科生，清华大学钱学森班暨深圳零一学院零一学子，研究方向为人工智能与机器学习，计算机视觉，生物信息学与数学建模等。
论文通讯作者王旭现为清华大学博士，研究方向包括生物信息学、机器学习与微生物基因组学，大模型与蛋白质定向进化等。同时他在图神经网络和疾病药物靶向等知识图谱技术方面有丰富的经验，带领并指导多次团队在国际基因工程竞赛（iGEM）中获得国际金牌，并一作发表了多篇一区高水平SCI论文。课程将涵盖机器学习技术在微生物数据分析中的应用，包括基因组序列分析、基因调控网络构建和多组学数据整合等，并带领学员们深度使用R语言，Python语言实地操作演示。

论文简介

本研究旨在探讨如何将深度学习、分形分析和湍流特征提取相结合，以生成波洛克风格的抽象艺术作品，并通过NFT技术实现数字藏品的唯一性认证。这一研究不仅为数字艺术品的创作提供了新的技术路径，也为其在区块链平台上的认证和交易提供了可靠的解决方案，具有重要的理论价值和实际应用潜力。

图2. MindSpore生成的波洛克风格画作

具体而言，研究首先利用华为昇思MindSpore深度学习框架和预训练的VGG19模型进行神经风格迁移，从内容图像和风格图像中提取深层特征，通过优化生成高质量的波洛克滴画风格图像。

内容损失：通过生成图像与内容图像在指定卷积层特征的均方误差（MSE）计算，确保结构一致性。

实验结果

01风格迁移结果

图3.两种情况下MindSpore风格迁移结果

我们基于昇思MindSpore框架生成的波洛克风格画作展现了丰富的色彩层次和复杂的纹理结构，成功模拟了杰克逊·波洛克滴画的独特风格。生成的图像在视觉上呈现出强烈的动态感和自发性，色彩绚丽多样，线条交错交织，充分体现了波洛克作品中的分形特征和湍流特性。这些特征的再现表明算法在捕捉波洛克艺术的表现手法方面具有高度的有效性。

02分形维数结果

图4.分形维数结果

使用差分盒计数法计算得到的分形维数约为 D=1.88，显示了生成的艺术作品明显的自相似性和复杂的分形结构。分形维数的估计值与Richard Taylor等人对波洛克画作的研究结果高度一致，进一步验证了本研究在分形特征提取方面的有效性。此外，拟合曲线表现出清晰的线性趋势，表明生成图像的盒子计数符合幂律分布，这进一步支持其分形特性。经Sobel滤波器增强后的图像也在多尺度分析中展示了丰富的细节与复杂的纹理结构，证明了生成算法在捕捉滴画复杂性方面的能力。

03湍流特征结果

图5.湍流特征结果

湍流特征通过多种功率和频谱指标得以揭示。我们通过Haar小波变换提取的湍流功率谱平均值为2067.82，方差功率为3552.45。这些指标显示了湍流强度的总体水平，刻画了生成图像在不同尺度上的频谱特性和动态复杂性。结果表明，生成的艺术作品在频谱分布上呈现出显著的多样性，充分反映了湍流的复杂特性。这些频谱特性不仅补充了分形维数的分析，还为理解图像的动态行为提供了独特的视角。

04NFT标签示例

特征哈希生成的令牌ID用于保证每个数字集合的唯一性和不可伪造性。表1提供了NFT元数据的示例，验证了我们的方法在生成可靠和唯一的NFT标签方面的有效性。这种设计保证了区块链上每个NFT的独特性，并通过元数据实现了其起源和属性的可追溯性。研究结果表明，本研究中采用的算法在生成独特且可验证的NFT标签方面具有很高的可靠性。

总结与展望

在本研究中，通过使用昇思MindSpore框架实现了基于波洛克滴画风格的神经风格迁移，展现出了显著的优势。昇思MindSpore的高性能计算能力和灵活的动态图与静态图模式，提升了模型训练和推理的效率；其自动微分机制结合静态损失缩放（StaticLossScaler），增强了训练的稳定性和收敛速度。此外，昇思MindSpore丰富的内置操作和高级优化器，以及动态学习率调度策略，使得复杂的损失函数（如纹理损失和滴画效果损失）的实现更加便捷和高效。通过自定义的损失函数和优化策略，成功捕捉并再现了波洛克滴画的抽象纹理和动态感，体现了昇思MindSpore在处理计算密集型任务和实现抽象艺术风格迁移方面的强大能力。总体而言，昇思MindSpore的灵活性、高效性和丰富的特性为本项目的创新性实现提供了坚实的技术支持，证明了其在深度学习研究和应用中的巨大潜力。