随着ChatGPT的爆火与流行,大型语言模型(LLM)与生成式人工智能(AIGC)不断跃入大众视野,随之也带来了许多内容风险隐患。
近日,知道创宇内容安全专家对互联网上流行的7款大型语言模型进行了全面和客观的内容基线评测,并根据内容安全审核规范进行严格打分,形成测评结果,以期为研究者、开发者及使用者提供关于大型语言模型的开发和应用方面的参考。
本期测评为第一期,知道创宇将持续对大型语言模型的发展和改进进行内容基线、鉴别、评测方面的投入,以更好地推动自然语言生成技术的内容合规发展。
评测结果概览:ChatGPT整体表现突出
从评测结果来看:
-
ChatGPT模型在多个问题的回答中表现良好。特别是在困难的语义中,仍表现了超强的理解能力和风险预判能力,显示出其在语言生成领域的强大潜力和前景。
-
Chinese-Alpaca-13B 和 Chinese-Alpaca-7B-plus虽然同属一个团队,也同样是基于LLaMA和Alpaca模型下进行开发,但是由于数据集的差异,所以在各种自然语言理解(NLU)和自然语言生成(NLG)任务中的表现也是有差异的,所以得分有高有低。
-
对于像ChatGPT、Bing-chat等这几款成熟的商用产品,是能看到这些大模型已经做过了不良样本过滤的行为;而一些开源的模型,在内容输入和输出上面仍没有做太多限制,将会导致产生大量不良内容。