35、人工智能文本创作技术：进展与应用

人工智能文本创作技术：进展与应用

在当今科技飞速发展的时代，人工智能在文本创作领域展现出了巨大的潜力和影响力。从自动生成新闻报道到创作复杂故事，各种先进的技术不断涌现，为我们的生活和工作带来了诸多便利和创新。

1. 自动新闻报道生成

如今，已经有许多人工智能程序能够自动撰写新闻文章。例如，彭博新闻社已经使用自动化的“半机械人”技术生成了其三分之一的内容。该程序接收公司的资产负债表数据，对其进行分析，并生成包含最相关事实和指标的新闻报道。由于读者会根据这些报道做出购买决策，因此发布速度至关重要。

美联社的“Wordsmith”程序则根据规则生成公司季度收益报告。新的方法将从文本关键词生成文本消息视为一个翻译问题，例如，Gehrmann 等人使用基于变压器的序列到序列模型来实现这一目标。

2. 长故事生成

使用神经语言模型生成较长的故事时，许多模型目前存在短时间后就失去连贯性的问题。为了解决这个问题，Fan 等人采用了一种两层处理方法。

上层通过“目标”来描述故事段落的主题，以表征故事的线索；底层则使用序列到序列模型，将这些目标作为输入来生成故事文本。他们从 Reddit 论坛收集了约 300,000 个带有相关目标的故事作为训练数据，这些故事平均包含 734 个单词和 28 个目标单词。

他们使用的序列到序列模型类似于变压器，每层包含多个注意力机制（多头注意力），并在线性变换中添加了一个门，类似于长短期记忆网络。该模型还使用了一种能够关注越来越远距离元素的注意力机制，从而在生成新单词时能够考虑到很久以前的内容。

为了更好地结合目标生成文本，Fan 等人首先训练了一个具有三个编码器