更新点paper的内容吧,直接省流打字:
- 还是单向transformer,rlhf finetuned。剩下的你想知道的实现细节,就不说了
- 当你还在谈emergence,他很多地方已经做到predictable,都是跟scaling law一致的,当然他用coding相关的评测那我确实无话可说,但打破inverse scaling这点也挺有趣..
- 秀结果,甚至都没啥好看的,包括他们mitigate他们所说的limitations
- rlhf很有用这个点博客提到,第六章讲风险安全问题有所展开(提到了一个叫rule-based reward models的东西,然后说是a set of zero-shot GPT-4 classifiers...,绷不住了)
谢邀!将最新的文章直接投递到这个问题吧。以下是正文:
正准备睡觉,收到同事群里GPT-4出来的消息。迅速扫了一眼博客,在这里做个简单解读。注:由于作者在深夜写作过程中写作情绪逐渐失控,请各位读者见谅。
这次GPT-4的放送非常全面,且内容量极度爆炸!首先是一篇署名OpenAI的98页的