Frame In, Frame Out: Do LLMs Generate More Biased News Headlines than Humans?

一、文章主要内容总结

本文聚焦于大型语言模型(LLMs)在新闻标题生成中是否比人类存在更多框架偏见展开研究,主要内容如下:

  1. 研究背景
    • 媒体框架通过选择性强调或淡化某些细节来塑造公众认知,而LLMs在自动化新闻生成中的应用日益广泛,其可能引入或放大框架偏见的问题引发担忧。
    • 现有研究多关注人类框架,对LLMs如何内化和重现框架模式的探讨较少。
  2. 研究方法
    • 使用XSUM数据集(BBC新闻摘要),对比27种LLMs(包括开箱即用和微调模型)与人类生成的新闻标题的框架倾向。
    • 采用GPT-4系列模型作为“评审团”检测框架,通过关键词分类法分析不同主题(如政治、健康、经济等)的框架差异。
  3. 核心发现
    • 人类与LLMs对比:LLMs生成的框架内容比例普遍高于人类,尤其在政治和社会敏感话题中更为显著。微调可略微降低框架倾向,但部分模型仍存在较高偏见。
    • 模型差异:小模型(如T5、BART)框架率低于人类,而大模型(如GPT、LLaMA)
### Tuning-Free Methods 使用 LLMs 的内在能力 无需调整的方法(Tuning-free Methods)主要依赖于大型语言模型LLMs)在其预训练阶段所学到的知识和技能。这种方法的核心在于通过设计特定的输入提示来引导模型完成目标任务,而不需要额外的参数更新或微调。 #### 上下文学习(In-Context Learning, ICL) 一种常见的 tuning-free 方法是上下文学习(ICL)。在这种方法中,模型被提供一组示范样例作为输入的一部分,从而能够推断出如何处理新的未见过的数据[^3]。具体来说,few-shot 提示技术会将少量的输入-目标对嵌入到提示中,这些对通常是人类可以理解的形式化指令和例子。随后,模型需要根据这些示范样例预测单一的未标注样本的结果。由于这种过程不涉及任何基于梯度的学习机制,因此其性能完全取决于模型在预训练过程中获得的能力。 以下是实现 few-shot 提示的一个简单 Python 实现: ```python def generate_few_shot_prompt(examples, new_example): prompt = "" for example in examples: prompt += f"Instruction: {example['instruction']}\nInput: {example['input']}\nOutput: {example['output']}\n\n" # Add the new example to predict prompt += f"Instruction: {new_example['instruction']}\nInput: {new_example['input']}\nOutput:" return prompt examples = [ {"instruction": "Translate English to French", "input": "Hello world.", "output": "Bonjour le monde."}, {"instruction": "Summarize this text:", "input": "A long story about adventures.", "output": "Adventures summary."} ] new_example = { "instruction": "Translate English to French", "input": "Goodbye friend." } prompt = generate_few_shot_prompt(examples, new_example) print(prompt) ``` 上述代码展示了如何构建一个包含多个示范样例的提示字符串,并最终加入一个新的待解决实例。此方式有助于激发 LLM 对新任务的理解并给出合理响应。 #### 总结 综上所述,tuning-free methods 利用了 LLMs 预先积累的强大泛化能力和模式识别技巧。尤其是像 ICL 这样的策略,仅需精心构造提示即可使模型适应多种不同的应用场景,极大地简化了实际部署流程的同时也保留了原始模型的表现力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值