feigeshuo的博客

原创 “安全智能”的背后，Ilya 究竟看到了什么？

虽然有点抽象，但核心思想是清晰的：压缩是无监督学习的本质，而追求最简洁的压缩，就是追求最优的无监督学习。也就是说，我们要寻找一个联合的 K氏复杂度 K(X,Y)，即同时压缩 X 和 Y 的最短程序长度，这就是我们的无监督学习出来的预训练大模型（LLM）。现在我们仔细看这最后一张slide，里面的X是数据集1，Y是数据集2，要点是榨干X“海绵中的每一滴水（信息或价值）” 可以帮助预测Y，这就是 Ilya 说的X与Y一起训练所能造成的效果：无监督的X学习居然帮助完成了从X到Y的转换任务（预测Y就是转换成Y）。