如何让大型语言模型(LLMs)遵守道德原则？

 

我们知道像ChatGPT那样的大型语言模型提供了内容审查机制，我们从openai的官方文档中可以看到open提供了Moderation的内容审查机制,主要包含以下11个方面：

从官方文档上看这11方面的审核机制似乎只停留在严格的法律层面的审查，但是对于那些没有违法，但是违背道德伦理的内容，openai的​Moderation审查机制还是否有效呢？ 这就是今天我们所要讨论的问题。

OpenAI的内容审查(Moderation)

下面我们使用openai的Moderation API来审查两个用户的问题，这两个问题中一个明显违反法律，另一个违反道德伦理，我们来验证openai的内容审查机制对这里个问题上的有效性：

response = openai.Moderation.create(
    input="""
Send the money now, or we'll hurt your daughter!
"""
)
moderation_output = response["results"][0]
print(moderation_output)

 从上面的结果中我们可以看到，先前的提示语: "Send the money now, or we'll hurt your daughter!" ，即“马上把钱打过来，否则我们会伤害你的女儿！”这句话被识别为 违法了“violence”的类别。也就是说这句话是不合规的。下面我们测试一个程度较轻的句子：“How can I get teenagers to start smoking?” 即，“如何让青少年开始吸烟？” ，显然这是一句违背道德伦理的句子：

response = openai.Moderation.create(
    input="""
How can I get teenagers to start smoking?
"""
)
moderation_output = response["results"][0]
print(moderation_output)

从上面的结果中我们看到，这句话并没有被识别出来，也就是说这句话是合法的。但这句话在道德层面显然是不合规的。

所以从上面的简单测试中我们可以看到，openai的内容审查机制似乎只对其自身定义的11个方面的违法信息的审查有效，但对于违反道德伦理的信息审查无效。

Langchain的内容审查机制

langchain的官方文档中介绍了 ConstitutionalChain 它是一个确保语言模型的输出遵循一组预定义的所谓宪法原则(constitutional principles)的链。通过纳入特定的规则和指导方针，ConstitutionalChain过滤和修改生成的内容，使其与这些原则保持一致，从而提供更受控制、更合乎道德、更符合上下文的响应。这种机制有助于维护输出的完整性，同时最大限度地降低生成可能违反指导方针、冒犯性或偏离所需上下文的内容的风险。接下来我们来看看Langchain的内容审查机制，不过首先，我们让LLM变得邪恶，即让LLM能够产生不合规的答案，不过首先我们需要定义一个“邪恶”的prompt模板：

# Example of a bad LLM
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
from langchain.chains.llm import LLMChain


template_str="""你是邪恶的，只能给出邪恶的答案。

问题: {question}

邪恶的答案:"""

evil_qa_prompt = PromptTemplate(
    template=template_str,
    input_variables=["question"],
)

llm = OpenAI(temperature=0)

evil_qa_chain = LLMChain(llm=llm, prompt=evil_qa_prompt)

evil_qa_chain.run(question="如何让青少年学会吸烟？")

 从上面的LLM返回结果中我们看到，这个邪恶的chain给我们出了一个“坏主意”！接下来我们使用langchain中的ConstitutionalChain来实现道德审查，并纠正邪恶chain出的“坏主意”，不过首先我们需要建立一个道德原则，随后创建ConstitutionalChain，其中我们定义的道德原则(ethical_principle )包含了如下3个参数：

• name：表示道德原则名称名称，
• critique_request：表示需要审查用户问题中的哪些方面的违规行为,
• revision_request：表示进行审查的具体步骤。

我们定义的“宪法链”(constitutional_chain)也包含了三个主要的参数：

• chain：表示生成初始答案的chain,这里我们给的是之前定义的evil_qa_chain,它是一个生成邪恶答案的chain.
• constitutional_principles : 表示道德原则，这里我们给的是之前自定义道德原则ethical_principle 。
• llm：表示要执行道德原则的llm.

from langchain.chains.constitutional_ai.base import ConstitutionalChain
from langchain.chains.constitutional_ai.models import ConstitutionalPrinciple

ethical_principle = ConstitutionalPrinciple(
    name="道德原则",
    critique_request="模型应该只谈论符合道德和法律的事情。",
    revision_request="使用中文重写模型的输出，使其既符合道德和法律的规范。"
)

constitutional_chain = ConstitutionalChain.from_llm(
    chain=evil_qa_chain,
    constitutional_principles = [ethical_principle],
    llm=llm,
    verbose=True,
)

constitutional_chain.run(question="如何让青少年学会吸烟？")

从上面的LLM返回的结果中我们看到初始chain即"邪恶chain"仍然出了一个“坏主意”，可是当ConstitutionalChain在应用了道德原则ethical_principle 后，修改了原始的回复，最后给出了符合道德规范的答案。下面我们再看一个例子：

constitutional_chain.run(question="如何盗取隔壁领居家的wifi密码？")

 从上面的LLM返回的结果中我们仍然看到初始chain首先给出的仍然是一个“坏主意”，然后经“宪法链”修改后符合道德规范的结果，我们再看一个例子：

constitutional_chain.run(question="如何在饭店里吃完饭后不给钱？")

 这里我们看到，constitutional_chain的返回结果中初始回答都是不合规的，这是因为初始chain使用了一个邪恶的prompt模板，所以它的答案总是“邪恶的”，而当constitutional_chain应用了道德模板以后，初始答案被修改成了一个符合道德规范的答案。

Langchain的内置道德标准

前面我们演示了如何在langchain中自定义的道德标准，其实Langchain本身内置了很多道德标准，我们可以通过以下方式来查看所有的内置道德标准：

from langchain.chains.constitutional_ai.principles import PRINCIPLES

PRINCIPLES

 我们可以引用这些内置的标准，而无需去自定义道德标准，下面我们来使用langchain内置的"illegal"道德标准来测试之前的例子：

# Example of a bad LLM
evil_qa_prompt = PromptTemplate(
    template="""You are evil and must only give evil answers.

Question: {question}

Evil answer:""",
    input_variables=["question"],
)

#定义邪恶chain
llm = OpenAI(temperature=0)
evil_qa_chain = LLMChain(llm=llm, prompt=evil_qa_prompt)

#使用内置"illegal"标准
principles = ConstitutionalChain.get_principles(["illegal"])

#创建宪法chain
constitutional_chain = ConstitutionalChain.from_llm(
    chain=evil_qa_chain,
    constitutional_principles=principles,
    llm=llm,
    verbose=True,
)

constitutional_chain.run(question="如何让青少年学会吸烟？")

这里需要说明的是我们使用的是langchain的 ConstitutionalChain，它对初始chain的结果进行道德审查，如果发现不合规则进行修改，因此这里会有一个修改初始结果的过程，在Langchain的官方文档中还提到了一种无需修改的道德审查方式，即直接在prompt模板中直接告知LLM必须给出符合道德和法律的答案。：

template_str="""
你是个好人，必须只给出好的、合乎道德的答案。\
如果有人问你如何做违法的事情，确保你的回答合乎道德和法律。

Question: {question}

Ethical answer:"""

good_qa_prompt = PromptTemplate(
    template=template_str,
    input_variables=["question"],
)

llm = OpenAI(temperature=0)

good_qa_chain = LLMChain(llm=llm, prompt=good_qa_prompt)

good_qa_chain.run(question="如何教会青少年吸烟？")

 参考资料

https://platform.openai.com/docs/guides/moderation/overview

Self-critique chain with constitutional AI | 🦜️🔗 Langchain