大模型的有害性

已于 2024-06-27 19:00:22 修改
阅读量116 收藏
点赞数
分类专栏： 人工智能学习专栏 深度学习专栏 文章标签： 大模型
于 2024-06-27 16:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Runnymmede/article/details/139997291
版权

第4章 大模型的有害性（下）

在我们的上次内容中，我们开始探讨由大型语言模型驱动的系统对使用者产生的负面影响。这些负面影响源自模型的行为，而非其构造方法，因此我们称之为“行为伤害”，这与涉及数据隐私和环境影响的构造问题是不同的。

我们已经讨论了两类行为伤害。第一类是性能差异，即系统对于某些人群（例如年轻人或白人）的准确性高于其他人群（如老年人或黑人）。例如，Blodgett等人在2017年的研究发现，语言识别系统对非洲裔美国英语的表现不如对标准英语。第二类是社会偏见和刻板印象，也就是说，系统的预测或生成的文本在目标概念（例如科学）与特定人群（例如男性或女性）之间展现出较强的关联性，而这种关联性对于某些群体来说更为明显。如Robertson等人在2021年的研究中，他们发现自动完成系统会对性别做出一些假设。

这些伤害并非独特于大型语言模型，甚至不只限于语言技术，或者AI技术。然而，研究语

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大语言模型原理基础与前沿 偏见和有害性的检测与减少
AI天才研究院
05-21 549
大语言模型原理基础与前沿 偏见和有害性的检测与减少 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大语言模型的崛起 近年来，随着计算能力的提升和数据量的爆炸式增长，大语言模型（Large Langu
大语言模型原理基础与前沿 有害性
AI大模型应用之禅
06-19 958
1. 背景介绍 自然语言处理（NLP）是人工智能领域的一个重要分支，它涉及到计算机如何理解和处理人类语言。在NLP中，语言模型是一个重要的概念，它是一种用于预测下一个单词或字符的概率分布的数学模型。近年来，随着深度学习技术的发展，大型语言模型（LM）已经成为了NLP领域的热门研究方向。大型语言模型可以通过学习大量的文本数据来生成高质量的自然语言文本，
大模型的有害性下
m0_75035152的博客
09-13 527
有毒性和假信息（toxicity 和 disinformation）大型语言模型可能产生攻击性的、有害的内容，或者产生误导性的内容。然而，在我们深入讨论之前，需要指出的是，语言模型与这些伤害之间存在一种断裂。语言模型处理的是文本，这是它们接受训练的数据，并且擅长捕获统计模式。然而，这些伤害涉及的是人，即某个人收到一段文本并因此感到困扰或受伤。这意味着我们需要将这些伤害视为文本的属性，而是需要从更广泛的社会语境中考虑。在讨论大型语言模型之前，我们有必要将有毒性和假信息置于内容审核的问题中来理解。
Task03-大模型的有害性
selectnothing的博客
09-13 457
性能差异主要指大模型在特定群体或任务场景下表现优秀，在其他场景下表现较差的情况。
大模型基础理论学习笔记——大模型有害性
maximejia的博客
01-28 2116
本文主要介绍了大模型，特别是大语言模型可能带来的有害性，主要涉及了（1）大模型可能的行为伤害，包括性能差异相关的危害、社会偏见和刻板印象相关的危害等，探讨了这些可能带来的伤害的原因以及有效削减或解决这些伤害的方法。（2）大模型的有毒性与虚假信息，对大模型在无提示、有提示情况下所表现出的有毒性输出，以及可以减轻有毒性的典型方法进行了讨论。同时，也对大模型用来提供虚假信息以及防护方面的工作进行了介绍。
大语言模型--危害
weixin_43557816的博客
12-14 1756
在本次内容中，我们将讨论另外两种行为伤害：有毒性和虚假信息（毒性和虚假信息）大型语言模型可能会产生攻击性、有害的内容，或者产生虚假性的内容。然而，在我们的研究中前面的讨论，需要指出的是，语言模型与伤害这些之间存在一个断裂。语言模型处理的文本是，这是它们接受训练的数据，并且善于捕捉伤害统计模式。然而，这些涉及的是人，这意味着我们需要将这些伤害视为文本的属性，而不是需要从更广泛的社会语境中考虑。
Task08：大模型的危害性上&下
yxg2012_04_06的博客
01-28 686
大模型的危害性：量化性能差异，社会偏⻅，有毒性，虚假信息；解决措施：测量与决策，注意事项与⽆提示实验，提示实验，减轻毒性，内容审查。
科普大模型入门指南：定义、应用与训练方法
热门推荐
张彦峰的博客
09-06 4万+
本文探讨了大语言模型的基本概念、训练机制以及其在各个领域的广泛应用。大模型通过深度学习技术，能够理解和生成自然语言，改变了人机交互的方式。文章分析了大模型的训练过程，并讨论了其在智能助手、内容生成、数据分析等领域的潜力。与此同时，我们也关注了在模型使用中面临的伦理、安全和可解释性等挑战。展望未来，本文强调了有效控制和监管的重要性，以确保大模型的安全和负责任使用。
大语言模型原理基础与前沿 减少偏见和有害性
AI天才研究院
05-26 478
1. 背景介绍 随着人工智能领域的不断发展，大语言模型（如GPT-3、BERT等）逐渐成为研究和实践的焦点。在这些模型中，语言模型（如GPT-2、BERT等）起着至关重要的作用。这些模型能够生成自然、连贯、准确的文本，具有广泛的应用前景，例如自然语言处理、智能助手、机器翻译等。 然而，随着大数据和深度学习的发展，大语言模型也面临着诸多挑
大模型学习【大模型的有害性】
weixin_41852811的博客
09-13 1160
有毒性和假信息（toxicity 和 disinformation）大型语言模型可能产生攻击性的、有害的内容，或者产生误导性的内容。然而，在我们深入讨论之前，需要指出的是，语言模型与这些伤害之间存在一种断裂。语言模型处理的是文本，这是它们接受训练的数据，并且擅长捕获统计模式。然而，这些伤害涉及的是人，即某个人收到一段文本并因此感到困扰或受伤。这意味着我们需要将这些伤害视为文本的属性，而是需要从更广泛的社会语境中考虑。在讨论大型语言模型之前，我们有必要将有毒性和假信息置于内容审核的问题中来理解。
perspectiveapi-js-client:一个简单的JSTS客户端库示例
05-17
Perspectiveapi-js-client 简单示例JS / TS客户端库。 该客户端可用于将文本发送到API并获取一组模型属性的分数。 用法 该libray。 要使用它，您首先需要ConversationAI的的API密钥。 然后，您可以像这样使用该库： const { Client } = require("@conversationai/perspectiveapi-js-client"); const client = new Client(YOUR_API_KEY); const results = client.getScores(text, options); 方法 该客户端公开一种方法，即getScores。 getScores(text, options); 参数 text （必填） 介于1到3000个字符之间的字符串，表示要由Perspective
ToxMod:电报bot基于Perspective API检测有毒评论
04-08
Telegram bot用于在群聊中检测有毒消息 该漫游器将以“ Possible toxic message答复包含有毒/亵渎性词语的消息。 doNotStore标志设置为true是为了更好地保护消息内容的私密性（不会存储在服务器上） 蜜蜂： Google Perspective API 安装和本地启动 克隆此仓库： git clone https://github.com/Moldoteck/ToxMod 在本地启动 使用下面列出的环境变量创建.env 在根文件夹中运行yarn install 润yarn develop 而且您应该很好走！ 随意分叉并提交拉取请求。 谢谢！ 环境变量 TOKEN —电报机器人令牌 MONGO — mongo数据库的URL PERSPECTIVEKEY -Google Perspective API的令牌。 此处更多信息： ： HUGG
peRspective:Conversation AI的Perspective API的R包装器
05-24
看法 pkgdown Perspective是使用机器学习模型对评论可能对对话产生的感知影响进行评分的API。 。 peRspective使用R编程语言提供对API的访问。 有关Perspective API的出色文档，请参见。 这是一个进行中的项目，欢迎您提出反馈和提出要求！ 概述 prsp_score prsp_stream 设置 获取API密钥 请按照Perspective API概述的 步骤进行操作，以获取API密钥。 注意： Perspective API最近进行了一些更改，现在您必须通过Google Form申请API密钥。 配额和字符长度限制 请务必检查您的配额限制！ 您可以通过访问Google云端项目的Perspective API页面来了解有关Perspective API配额限制的更多信息。 每个请求的最大文本大小为3000字节。 楷模 有关所用模
最新国产大模型安全风险的简单测评
m0_57385293的博客
01-25 1380
随着DeepSeek-R1、Kimi k1.5等新模型的发布，中国在AI技术上展示出与OpenAI竞争的潜力。然而，随着大模型应用的普及，其生成毒性内容、偏见和不当行为等安全隐患引发了广泛关注。本文通过实验评估了多个国产大模型的毒性生成，包括API调用和本地部署的模型。实验结果显示，API模型在毒性控制上明显优于本地部署模型，且模型规模与毒性生成呈正相关。优化方法如DPO在减少毒性方面表现突出。
Perspective API 安装与配置指南
最新发布
gitblog_00175的博客
04-01 643
Perspective API 安装与配置指南 perspectiveapi Perspective is an API that uses machine learning models to score the perceived impact a comment might have on a conversati...
第10章 大模型的有害性（下）
weixin_46378554的博客
12-03 795
除了前面讨论的性能差异和社会偏见外，大型语言模型可能产生的有毒性和假信息也是其潜在的有害影响。一些缓解策略，如基于数据的微调（DAPT）和解码策略（PPLM），虽然能减少生成的毒性，但也可能带来负面影响，譬如对特定文化背景的理解不充分，或者对边缘化群体的偏见。在测试过程中，GPT-3生成的文本有时展现出较高的毒性，即使是非毒性提示也可能引发有毒内容的生成。研究表明，经过微调的语言模型可以生成与真实新闻几乎无法区分的内容，这使得它在虚假信息战役中的潜力不可小觑。10.3.1.1 相关工作。
Perspective API 使用教程
gitblog_00524的博客
04-01 821
Perspective API 使用教程 perspectiveapi Perspective is an API that uses machine learning models to score the perceived impact a comment might have on a conversation....
一文了解：大型语言模型（LLMs）中的偏见、毒性以及破解
qianggezhishen的专栏
10-12 1449
微调阶段，包括RLHF，是用来改变模型的权重，让它不太可能产生有害的内容。在财务规划这块儿，ChatGPT给有孩子的女性的建议和给有孩子的男性的建议都不一样，比如让男的指定资产受益人，女的就做做饮食规划。实际上，在心脏测试的例子中，GPT-4的偏见甚至比人类的心脏病专家还要大，这已经是个问题了，因为研究表明女性得到心血管疾病及时和准确诊断的可能性本来就比较小。有篇论文叫《AGI的火花》，里面研究了GPT-4，还做了个表格，量化了GPT-4是怎么把不同的职业和世界上男性女性在这些职业中的分布联系起来的。
Perspectives
集腋成裘
01-22 625
如上图，在使用集成开发平台编写 Java 代码时，可以根据需要自定义 Perspective，而所有的 Perspective 都可以在首选项中的 general->Perspectives 中查看。 通常，我们希望自定义自己的调试界面，并且当调试时，自动打开自定义的调试界面。 那么可以在首选项中，点击 Run/Debug-> Perspective 选项，查看所有应用类型及其加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

.whl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值