自然语言
文章平均质量分 65
自然语言处理论文
小杨小杨1
这个作者很懒,什么都没留下…
展开
-
Zero-Shot Text-to-Image Generation阅读笔记
目标:训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法:可能性目标倾向于优先考虑像素之间的短程依赖关系建模,因此大部分建模能力将用于捕获高频细节,而不是使物体在视觉上可识别的低频结构。原创 2023-03-20 17:56:25 · 790 阅读 · 0 评论 -
GPT-4技术报告
GPT-4 在 RLHF 训练期间加入了一个额外的安全奖励信号,通过训练模型拒绝对此类内容的请求来减少有害输出(如我们的使用指南所定义)。为了防止模型拒绝有效请求,我们从各种来源(例如,标记的生产数据、人类红队、模型生成的提示)收集了多样化的数据集,并在两者上应用安全奖励信号(具有正值或负值)允许和不允许的类别。与 GPT-3.5 相比,我们已将模型响应不允许内容请求的倾向降低了 82%,并且 GPT-4 根据我们的政策响应敏感请求(例如,医疗建议和自我伤害)的频率提高了 29% .原创 2023-03-15 11:07:35 · 592 阅读 · 0 评论 -
Visual ChatGPT可视化的chatgpt
根据图片慢慢体会,他的方法。原创 2023-03-11 11:26:04 · 4581 阅读 · 0 评论 -
chatgpt
chatgpt原创 2023-03-10 10:52:02 · 97 阅读 · 0 评论 -
LLaMA: Open and Efficient Foundation Language Models笔记
利用了随后提出的各种改进,并在不同的模型中使用,如PaLM。任务的causal性质而被掩盖的query/key分数。整个训练数据集在标记化后大约包含1.4T。网络是基于transformer架构的。原创 2023-03-08 15:07:49 · 258 阅读 · 0 评论