53、循环神经网络：原理、架构与应用

循环神经网络：原理、架构与应用

1. 自回归与文本生成

自回归在文本生成中展现出了独特的优势，它可以从源材料的随机位置开始生成连续字符，并且能够根据需求持续运行，生成无限量的输出。在训练的第一个周期后，我们可以看到初步的生成结果：

er price.” “If he waits a little longer wew fet ius ofuthe henss lollinod fo snof 
thasle, anwt wh alm mo gparg lests and and metd tingen, at uf tor alkibto-
Panurs the titningly ad saind soot on ourne” Fy til, Min, bals’ thid the

虽然此时生成的“单词”并非真实词汇，但它们的长度与英语单词相近，且并非随机字符的组合，很多甚至易于发音。经过50个周期的训练后，生成结果有了显著改善：

nt blood to the face, and no man could hardly question off his pockets of 
trainer, that name to say, yisligman, and to say I am two out of them, with a 
second. “I conturred these cause they not you means to know hurried at your 
little plat