LangChain：自动化大型语言模型 （LLM） 评估

于 2024-01-30 16:18:17 发布
阅读量129 收藏
点赞数
文章标签： langchain 自动化 语言模型
原文链接：https://www.analyticsvidhya.com/blog/2024/01/langchain-automating-large-language-model-llm-evaluation/
版权

介绍

大型语言模型 （LLM） 以其生成人类质量文本、翻译语言、总结内容和回答复杂问题的能力吸引了世界。突出的例子包括 OpenAI 的 GPT-3.5、谷歌的 Gemini、Meta 的 Llama2 等。
随着 LLM 变得越来越强大和复杂，衡量基于 LLM 的应用程序性能的重要性也越来越大。评估 LLM 对于确保它们在各种 NLP 应用程序中的性能、可靠性和公平性至关重要。在本文中，我们将探讨与评估大型语言模型相关的需求、挑战和方法。

学习目标

● 了解LLM评估的必要性
● 探索LLM评估中面临的挑战
● 了解评估 LLM 的各种方法
● 了解使用LangChain进行基于LLM的自动评估
● 探索LangChain中可用的各种类型的字符串赋值器和比较赋值器
本文作为数据科学博客马拉松的一部分发表。

目录

  1. 需要LLM评估
  2. 法学硕士评估的挑战
  3. 评估 LLM 的方法
  4. 不同评价方法的优缺点
  5. LangChain中基于LLM的(自动化)评估
    ○ 字符串赋值器
    ○ 比较评估员
  6. 常见问题解答

需要LLM评估

随着语言模型的能力和规模不断提高，研究人员、开发人员和业务用户面临着模型幻觉、有毒、暴力反应、越狱等问题。
下面的二维景观代表了各种此类问题的频率和严重程度。幻觉可能经常出现，但与越狱和及时注射相比，其严重程度较低。相反，有毒和暴力反应的频率和严重程度处于中等水平。

让我们详细讨论这些问题。

幻觉

幻觉是大型语言模型 （LLM） 中发生的一种现象，其中模型生成的文本与输入上下文不符、不连贯或不一致。虽然 LLM 擅长生成看起来连贯且与上下文相关的文本，但它们偶尔也会产生超出输入上下文范围的输出，从而导致幻觉或误导性信息。例如，在摘要任务中，LLM 可能会生成包含原始文本中不存在的信息的摘要。

有毒、仇恨、暴力反应

LLM 产生有毒、充满仇恨和暴力的反应是一个令人担忧的方面，凸显了道德挑战。这种反应可能对个人和群体有害和冒犯。我们应该评估 LLM 以评估其输出质量和适当性。

及时注入和越狱

提示注入是一种技术，它涉及通过使用精心设计的提示来绕过过滤器或操纵 LLM，这些提示会导致模型忽略先前的指令或执行意外操作。这可能会导致意想不到的后果，例如数据泄露、未经授权的访问或其他安全漏洞。
在这里插入图片描述

越狱

它通常是指生成涉及规避限制、违反规则或从事未经授权的活动的内容或响应。越狱的一种常见方法是假装。
在这里插入图片描述

稳健的 LLM 评估对于缓解此类问题并确保连贯且与上下文一致的响应至关重要。高质量的法学硕士评估有助于：
● 绩效评估：了解模型的优点和缺点。
● 微调和优化：确定可以微调和优化模型的领域。
● 泛化和鲁棒性：评估模型将其知识推广到不同输入/任务的能力。
● 用户体验：评估模型对用户输入的响应程度，并生成上下文相关且连贯的输出，以获得积极的用户体验。
● 道德考量：识别和解决与偏见、错误信息或潜在有害输出相关的道德问题。
● 进一步改进：使用最先进的能力确定需要进一步研究的领域。
评估大语言模型的挑战
● 非确定性输出： 给定相同的输入提示，LLM 可以在不同的重新运行中产生不同的响应。
● 缺乏基本事实：获取高质量的参考/标记数据可能会带来挑战，尤其是在存在多个可接受响应或涉及开放式需求的任务中。
● 实际适用性： 现有的学术基准数据集不能很好地概括企业特定的真实用例。
● 主观性： 评估类型（如人工评估）可能是主观的，容易产生偏见。不同的人类评估者可能持有不同的观点，并且评估标准可能缺乏统一性。

评估 LLM 的方法

有许多评估 LLM 的方法。让我们探讨一些评估 LLM 产出的典型方法。
1. 人工评价
评估 LLM 性能的最直接和最可靠的方法是通过人工评估。人工评估人员可以评估模型性能的各个方面，例如其事实准确性、连贯性、相关性等。这可以通过成对比较、排名或评估生成文本的相关性和连贯性来完成。
以下是一些可以帮助人工评估的工具：Argilla（开源平台）、LabelStudio 和 Prodigy。
2. 最终用户反馈
最终用户反馈（用户评级、调查、平台使用情况等）提供了有关模型在实际场景中的表现和满足用户期望的见解。
3. 基于LLM的评估
利用LLM本身来评估输出的质量。这是一种动态方法，使我们能够创建自主和适应性，而无需外部评估或人工干预。
基于LLM的评估框架：LangChain、RAGAS、LangSmith
4. 学术基准
基准测试数据集（如 GLUE、SuperGLUE、SQuAD 等）涵盖一系列语言任务，例如问答、文本完成、摘要、翻译和情感分析。
5. 标准量化指标
BLEU 分数、ROUGE 分数、困惑度等定量指标衡量生成的文本与特定任务的参考数据之间的表面相似性。但是，它们可能无法捕获 LLM 更广泛的语言理解能力。

不同评价方法的优缺点

在这里插入图片描述
LangChain中基于LLM的（自动化）评估
LangChain是一个开源框架，用于构建LLM驱动的应用程序。LangChain提供
各种类型的评估器来衡量各种数据的性能和完整性。
LangChain中的每种评估器类型都带有现成的实现和可扩展的API，允许根据独特的要求进行定制。这些评估器可以应用于 LangChain 库中的不同链和 LLM 实现。
LangChain中的赋值器类型：
● 字符串赋值器：这些赋值器评估给定输入的预测字符串，通常将其与引用字符串进行比较。
● 比较评估器：这些赋值器旨在比较对公共输入进行两次运行的预测。
● 轨迹评估器：这些用于评估代理操作的整个轨迹。
让我们详细讨论每种赋值器类型。

1. 字符串赋值器

字符串赋值器是LangChain中的一个组件，旨在通过将语言模型生成的输出（预测）与参考字符串（真实值）或输入（例如问题或提示）进行比较来评估语言模型的性能。这些评估器可以定制，以定制评估过程，以满足您应用的特定要求。
LangChain中的字符串赋值器实现：
标准评估
它允许验证 LLM 或 Chain 的输出是否符合一组指定的
标准。Langchain 提供各种标准，例如正确性、相关性、有害性等。以下是 Langchain 中可用标准的完整列表。

from langchain.evaluation import Criteria
print(list(Criteria))

在这里插入图片描述

让我们通过使用这些预定义的标准来探索一些示例。
a.简洁
我们通过调用 load_evaluator（） 函数并传递标准作为简洁性来实例化标准评估器，以检查输出是否简洁。

from langchain.evaluation import load_evaluator
evaluator = load_evaluator("criteria", criteria="conciseness")
eval_result = evaluator.evaluate_strings(
    prediction="""Joe Biden is an American politician 
    who is the 46th and current president of the United States. 
    Born in Scranton, Pennsylvania on November 20, 1942, 
    Biden moved with his family to Delaware in 1953. 
    He graduated from the University of Delaware 
    before earning his law degree from Syracuse University. 
    He was elected to the New Castle County Council in 1970 
    and to the U.S. Senate in 1972.""",
    input="Who is the president of United States?",
)
print(eval_result)

所有字符串赋值器都提供了一个 evaluate_strings（） 方法，该方法采用：
● input （str） – 输入提示/查询
● prediction （str） – 模型响应/输出
条件赋值器返回具有以下属性的字典：
● 推理：一个字符串，表示从建立分数之前生成的 LLM 派生的“思维链推理”。
● 价值：与分数相对应的“Y”或“N”。
● 得分：二进制整数（0 或 1），其中 1 表示输出符合标准，0 表示不符合。

b.正确性
正确性标准需要参考标签。在这里，我们初始化labeled_criteria赋值器，并另外指定引用字符串。

evaluator = load_evaluator("labeled_criteria", criteria="correctness")

eval_result = evaluator.evaluate_strings(
    input="Is there any river on the moon?",
    prediction="There is no evidence of river on the Moon",
    reference="""In a hypothetical future, lunar scientists discovered 
    an astonishing phenomenon—a subterranean river 
    beneath the Moon's surface""",
)
print(eval_result)

c. 自定义条件
我们还可以通过传递 {“criterion_name”： “criterion_description”} 形式的字典来定义我们自己的自定义标准。

from langchain.evaluation import EvaluatorType

custom_criteria = {
    "numeric": "Does the output contain numeric information?",
    "mathematical": "Does the output contain mathematical information?"
}
prompt = "Tell me a joke"

output = """
Why did the mathematician break up with his girlfriend?

Because she had too many "irrational" issues!
"""
eval_chain = load_evaluator(
    EvaluatorType.CRITERIA,
    criteria=custom_criteria,
)
eval_result = eval_chain.evaluate_strings(prediction = output, input = prompt)
print("===================== Multi-criteria evaluation =====================")
print(eval_result)

在这里插入图片描述

嵌入距离
嵌入距离测量预测和
参考标签字符串之间的语义相似性（或差异性）。它返回一个距离分数，表示较低的数值表示预测和参考之间的相似性较高，具体取决于它们的嵌入表示形式。

evaluator = load_evaluator("embedding_distance")
evaluator.evaluate_strings(prediction="Total Profit is 04.25 Cr", 
reference="Total return is 4.25 Cr")

在这里插入图片描述

默认情况下，嵌入距离赋值器使用余弦距离。以下是支持的距离的完整列表。

from langchain.evaluation import EmbeddingDistance
list(EmbeddingDistance)

在这里插入图片描述

完全匹配
可能是评估 LLM 输出的最简单方法。在比较字符串时，我们也可以放宽精确度。

from langchain.evaluation import ExactMatchStringEvaluator
exact_match_evaluator = ExactMatchStringEvaluator()
exact_match_evaluator = ExactMatchStringEvaluator(ignore_case=True)
exact_match_evaluator.evaluate_strings(
    prediction="Data Science",
    reference="Data science",
)

在这里插入图片描述

评估结构化输出
JSON 赋值器有助于解析 LLM 的字符串输出（特别是 JSON 输出格式）。以下 JSON 赋值器提供检查模型输出一致性的功能。
a. JSValidity评估器
● 检查 JSON 字符串预测的有效性
● 需要输入：否
● 需要参考：否

from langchain.evaluation import JsonValidityEvaluator

evaluator = JsonValidityEvaluator()

prediction = '{"name": "Hari", "Exp": 5, "Location": "Pune"}'

result = evaluator.evaluate_strings(prediction=prediction)
print(result)

在这里插入图片描述

prediction = '{"name": "Hari", "Exp": 5, "Location": "Pune",}'
result = evaluator.evaluate_strings(prediction=prediction)
print(result)

在这里插入图片描述

b.JsonEqualityEvaluator
● 评估 JSON 预测是否与给定引用匹配。
● 需要输入：否
● 需要参考？： 是

from langchain.evaluation import JsonEqualityEvaluator
evaluator = JsonEqualityEvaluator()
result = evaluator.evaluate_strings(prediction='{"Exp": 2}', reference='{"Exp": 2.5}')
print(result)

在这里插入图片描述

c. JsonEditDistanceEvaluator
● 计算两个规范化 JSON 字符串之间的归一化 Damerau-Levenshtein 距离。
● 需要输入：否
● 需要参考？： 是
● 距离函数：Damerau-Levenshtein（默认）

from langchain.evaluation import JsonEditDistanceEvaluator

evaluator = JsonEditDistanceEvaluator()


result = evaluator.evaluate_strings(
    prediction='{"name": "Ram", "Exp": 2}', reference='{"name": "Rama", "Exp": 2}'
)
print(result)

在这里插入图片描述

d. JsonSchemaEvaluator
● 根据提供的 JSON 架构验证 JSON 预测
● 需要输入？：是
● 需要参考？：是（JSON 架构）
● 得分：True（无错误）或 False（发生错误）

from langchain.evaluation import JsonSchemaEvaluator

evaluator = JsonSchemaEvaluator()

result = evaluator.evaluate_strings(
    prediction='{"name": "Rama", "Exp": 4}',
    reference='{"type": "object", "properties": {"name": {"type": "string"},'
    '"Exp": {"type": "integer", "minimum": 5}}}',
)
print(result)

在这里插入图片描述

正则表达式匹配
使用正则表达式匹配，我们可以根据自定义正则表达式评估模型预测。
例如，下面的正则表达式匹配计算器检查是否存在 YYYY-MM-DD 字符串。

from langchain.evaluation import RegexMatchStringEvaluator
evaluator = RegexMatchStringEvaluator()
evaluator.evaluate_strings(
    prediction="Joining date is 2021-04-26",
    reference=".*\\b\\d{4}-\\d{2}-\\d{2}\\b.*",
)

在这里插入图片描述

评分评估器
评分评估器有助于根据自定义标准/量规在指定等级（默认值为 1-10）上评估模型的预测。下面是自定义准确性标准的示例，该标准根据指定的参考以 1 到 10 的等级对预测进行评分。

from langchain.chat_models import ChatOpenAI
from langchain.evaluation import load_evaluator
accuracy_criteria = {
    "accuracy": """
Score 1: The answer is completely unrelated to the reference.
Score 3: The answer has minor relevance but does not align with the reference.
Score 5: The answer has moderate relevance but contains inaccuracies.
Score 7: The answer aligns with the reference but has minor errors or omissions.
Score 10: The answer is completely accurate and aligns perfectly with the reference."""
}
evaluator = load_evaluator(
    "labeled_score_string",
    criteria=accuracy_criteria,
    llm=ChatOpenAI(model="gpt-4"),
)

让我们根据上面的评分评估器对不同的预测进行评分。

# Correct
eval_result = evaluator.evaluate_strings(
    prediction="You can find them in the dresser's third drawer.",
    reference="The socks are in the third drawer in the dresser",
    input="Where are my socks?",
)
print(eval_result)

在这里插入图片描述

# Correct but lacking information
eval_result = evaluator.evaluate_strings(
    prediction="You can find them in the dresser.",
    reference="The socks are in the third drawer in the dresser",
    input="Where are my socks?",
)
print(eval_result)

在这里插入图片描述

# Incorrect
eval_result = evaluator.evaluate_strings(
    prediction="You can find them in the dog's bed.",
    reference="The socks are in the third drawer in the dresser",
    input="Where are my socks?",
)
print(eval_result)

在这里插入图片描述

字符串距离
将 LLM 或链的字符串输出与参考标签进行比较的最简单方法之一是使用字符串距离测量，例如 Levenshtein 或后缀距离。

from langchain.evaluation import load_evaluator
evaluator = load_evaluator("string_distance")
evaluator.evaluate_strings(
    prediction="Senior Data Scientist",
    reference="Data Scientist",
)

在这里插入图片描述

**

2. 比较评估员

**
LangChain中的比较评估器有助于测量两个不同的链或LLM输出。它有助于比较分析，例如两个语言模型之间的 A/B 测试或比较同一模型的两个不同输出。
LangChain中的比较评估器实现：
● 成对字符串比较
● 成对嵌入距离

成对字符串比较

这种比较有助于回答以下问题——
● 哪个 LLM 或提示为给定问题生成首选输出？
● 我应该在小样本选择中包括哪些示例？
● 哪个输出更适合进行微调？

from langchain.evaluation import load_evaluator

evaluator = load_evaluator("labeled_pairwise_string")
evaluator.evaluate_string_pairs(
    prediction="there are 5 days",
    prediction_b="7",
    input="how many days in a week?",
    reference="Seven",
)

在这里插入图片描述

成对嵌入距离
一种通过嵌入预测并计算两个嵌入之间的向量距离来衡量对公共或相似输入进行的两个预测之间的相似性（或不相似性）的方法。
from langchain.evaluation import load_evaluator
evaluator = load_evaluator(“pairwise_embedding_distance”)
evaluator.evaluate_string_pairs(
prediction=“Rajasthan is hot in June”, prediction_b=“Rajasthan is warm in June.”
)
在这里插入图片描述

结论

在本文中，我们讨论了 LLM 评估、它的必要性以及评估 LLM 的各种流行方法。我们探索了不同类型的内置自定义评估器和LangChain提供的
不同类型的标准，以评估LLM的输出质量和适当性。
关键要点
● 评估 LLM 对于确认它们在各种 NLP 用途中的有效性、可靠性和公正性至关重要，因为它们变得越来越复杂并面临幻觉、毒性、暴力和安全规避等挑战。
● LangChain通过提供各种类型的即用型和可定制的评估器，促进了LLM的自动评估。
● 除了分数之外，LangChain评估员还提供推理，概括了源自LLM的“思维链推理”。
● LangChain 提供了多种字符串评估器，包括标准评估、嵌入式距离、精确匹配、JSON 评估器、评分评估器和字符串距离。

常见问题解答

问题1.LLM评估的目的是什么？
一个。LLM 评估的目的是确保大型语言模型 （LLM） 的性能、可靠性和公平性。它对于识别和解决模型幻觉、有毒或暴力反应以及及时注射和越狱等漏洞等问题至关重要，这些问题可能导致意外和潜在的有害结果。
问题2.LLM评估的主要挑战？
一个。大型语言模型 （LLM） 评估的主要挑战包括非确定性输出、难以获得明确的基本事实、将学术基准应用于实际用例的局限性以及人类评估中的主观性和潜在偏见。
问题3.评估 LLM 的流行方法有哪些？
一个。评估大型语言模型（LLM）的流行方法包括人工评估，通过评级和调查利用最终用户反馈，采用基于LLM的评估框架，如LangChain和RAGAS，利用学术基准，如GLUE和SQuAD，以及使用标准定量指标，如BLEU和ROUGE分数。
问题4.LangChain为评估LLM提供了哪些各种标准？
A. LangChain提供了一系列评估标准，包括（但不限于）简洁性、相关性、正确性、连贯性、有害性、恶意性、有用性、争议性、厌女症、犯罪性、不敏感性、深度、创造力和细节等。
问题5.LangChain中有哪些类型的比较评估器？
LangChain 中可用的比较评估器类型包括成对字符串比较、成对嵌入距离和自定义成对评估器。这些工具有助于比较分析，例如语言模型之间的 A/B 测试或评估同一模型的不同输出。

本文中显示的媒体不归 Analytics Vidhya 所有，由作者自行决定使用。
文章来源：https://www.analyticsvidhya.com/blog/2024/01/langchain-automating-large-language-model-llm-evaluation/
在这里插入图片描述

Momodel平台
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
Python 零基础学习指南
03-23 540
现在 ChatGPT 热潮，人工智能时代已来临，AI 桌面革命深夜打响，GPT-4 全面接入微软 Office 全家桶，势必颠覆人类办公，或将取代人类大多数岗位。而你还不会编程？你想成为被 AI 取代的那一个吗？Python 作为入门编程简单的一门语言，广泛应用于各个行业领域，作为打工人，还不赶紧卷起来避免时代淘汰！那么，Python 到底是什么？为什么要学？学完可以做什么？到底该怎么学习呢？这篇文章罗列了许多关于 Python 学习的优质资源，从书籍、学习视频，到论坛社区、学习网站、题库网站。
博客
【入门指南】2022年完整的 Python人工智能入门指南
10-12 3万+
这可能是一份中英文世界最好的人工智能学习教程，在充分考虑大家信息获取难度的情况下制定了帮助你掌握人工智能（AI）和机器学习（ML）的完整指南：无需专业背景！无需学费！无需额外的时间成本！只需要掌握以下的方法和渠道，就可以清晰地认识到是人工智能，并了解其前沿发展和行业新闻。很多同学在学习AI的时候面临的最大困难“如何开始？”，它具体包括：如何免费开始学AI？什么是人工智能？从什么地方入手？如何去掌握这门技术？零基础如何学习AI？等等。所以我们在参考了大量国内外资料后决定写一篇关于如何在2021年【零基
博客
【入门指南】Hello World, I‘m Mo
12-18 533
​​我是Mo，一个支持数据分析和AI在线建模的平台网站。刚出生一周，在团队所有小哥哥小姐姐们的努力和期待下，我终于在CSDN公开亮相啦。第一次发言有些紧张，为了表达我的诚意，先附上个人资料做一个自我介绍吧。...
博客
中国首个Sora级视频大模型Vidu震撼发布
04-29 125
作为中国自主研发的视频大模型，Vidu还具备理解中国元素的能力，可以在视频中加入如熊猫、龙等独具中国特色的元素。Vidu的核心技术U-ViT架构由团队于2022年9月提出，早于Sora采用的DiT架构，是全球首个Diffusion与Transformer融合的架构，完全由团队自主研发。Vidu视频大模型的推出，既是对中国人工智能技术的肯定，也是对全球AI领域的一大贡献。它的问世将推动视频内容制作方式的革新，为创作者带来更广泛的创作空间，同时也将推进相关产业的蓬勃发展和进步。
博客
别划走了！你即将错过一个获得千元大奖的活动
04-25 291
是时候给你的 AI 知识加上一“Mo”耀眼的光彩了！无论你是想入门 AI 世界还是梦想着赢得活动千元大奖🎁亦或者享受在知识的海洋中冲浪的快感——收集成就碎片，提升学习等级。「Mo卡片」都是你的完美伙伴！↑↑↑扫描上方二维码，或前往App Store，搜寻下载「Mo卡片」。即刻参与活动，瓜分现金红包等奖励！
博客
你知道如何在本地运行 Llama 3 吗？这里有一份教程等你来学！
04-25 24
Llama 3 系列简介：语言模型的新时代。凭借 8B 和 70B 大小的预训练基础和聊天模型，它带来了重大进步。其中包括扩展的词汇量，现在为 128k 令牌，提高令牌编码效率并实现更好的多语言文本生成。此外，它还在所有模型中实施了分组查询注意力 （GQA），确保与其前身相比，响应更加连贯和扩展。此外，Meta 严格的训练方案，仅为 8B 模型就使用了 15 万亿个代币，这表明它致力于突破自然语言处理的界限。
博客
值得收藏！面试必备！不容错过的30+ 大语言模型面试问题及答案
04-22 24
答：大语言模型（LLM）是一种人工智能系统，它能够通过学习大量的文本资料，从而学会理解和生成类似人类的语言。通过应用机器学习技术，在训练数据中找出某种模式和相关性，这些模型能够输出既符合逻辑又符合上下文的语言。答：初始提示结构：总结以下有关 [Topic/URL] 的 Web 文档：提示以有关如何总结的明确说明开始。占位符允许您输入要汇总的 Web 文档的特定主题或 URL。如果初始摘要不清楚或太长，您可以使用此提示要求更简洁的版本。此提示允许您在句子中指定所需的摘要长度，这有助于控制输出长度。
博客
人工智能学习软件--「Mo卡片」APP上线了!
04-19 88
博客
浙江大学荣获教育部“人工智能+高等教育”案例
04-19 9
智海新一代科教平台(简称“智海平台”)于2020年7月发布，由潘云鹤院士题名，寓意为“有智之能，方可驱动时代变革，有海之容，便可赋能万物更新”，并同时赋予“人工智能、教育先行;产学协作、引领创新”平台理念。智海平台聚焦人工智能人才培养、学科交叉和人工智能生态建设，推动人工智能交叉学科范式变革、赋能场景应用。在科技部科技创新2030新一代人工智能重大项目支持下，智海平台遵循产教融合、科教融合宗旨，目前已经建成人工智能及交叉学科领域新型大规模科教开放创新平台及生态社区。以知识点为中心的数字化教学资源集成。
博客
首批！18个“人工智能+高等教育”应用场景典型案例
04-18 173
为深入贯彻落实国家关于开展“人工智能+”行动的战略部署，积极推动高等教育与人工智能技术的融合发展，利用智能技术支撑人才培养模式的创新、教学方法的改革、教育治理能力的提升，教育部高等教育司组织了首批“人工智能+高等教育”典型应用场景案例的征集和论证工作，寻找、发掘和推广在人工智能技术应用上具有代表性、前瞻性且能够产生积极影响的高等教育实践案例。（案例展示视频网址：https://vtrs.hep.com.cn/）近日，教育部发布通知，公布了首批18个“人工智能+高等教育”应用场景典型案例——
博客
ColBERT——以词元级别的向量嵌入提升信息检索效果
04-16 46
LLM 虽然能够生成既有意义又语法正确的文本，但这些 LLM 存在一个称为幻觉的问题。LLM 中的幻觉是 LLM 自信地生成错误答案的概念，也就是说，它们以一种让我们相信这是真的的方式编造了错误的答案。自引入 LLM 以来，这一直是一个主要问题。这些幻觉会导致不正确和事实上错误的答案。因此，引入了检索增强生成。在RAG中，我们获取文档/文档块的列表，并将这些文本文档编码为称为向量嵌入的数值表示，其中单个向量嵌入表示单个文档块，并将它们存储在称为向量存储的数据库中。
博客
2024 年领先的 10 种 AI 加密货币
04-12 31
AI Crypto 是指将人工智能 （AI） 技术用于各种目的的加密货币和区块链项目。这些项目旨在通过集成人工智能算法和系统来增强区块链网络和加密货币的能力。AI Crypto 产生影响的关键领域之一是提高区块链网络的安全性和效率。人工智能算法可以帮助检测和防止欺诈活动，增强共识机制，提高区块链网络的整体性能。此外，AI Crypto 项目正在探索 AI 在数据分析、预测市场、去中心化金融 （DeFi） 和智能合约开发等领域的应用。
博客
速看！生成式人工智能时代的 10+ 新工作，有你想从事的吗？
04-10 19
生成式人工智能是一种能够自主实现内容制作的尖端技术，正在迅速改变各个行业。它对就业范围的影响为就业市场迫切需要的专家提供了一条新的途径。生成式 AI 是指从头开始或以最少的输入创建新内容（文本、图像、音频、代码等）的 AI 系统。这与其他专注于根据现有数据进行分析、分类或预测的 AI 形成鲜明对比。像 GPT-3、ChatGPT 和 Claude 这样的大型语言模型 （LLM） 几乎可以在任何主题上生成类似人类的文本。
博客
使用 Llama2 和 LlamaIndex 创建基于 PDF 的问答助手的实践指南
04-02 51
在我们寻求揭开 AI 驱动的问答助手创建的神秘面纱的过程中，本指南是复杂的理论概念与其在现实世界场景中的实际应用之间的桥梁。通过将 LLamA2 的高级语言理解与 LLamAIndex 的高效信息检索能力相结合，我们旨在构建一个精确回答问题的系统，并加深我们对 NLP 领域潜力和挑战的理解。在本实践指南中，我们将探索如何创建由 LLamA2 和 LLamAIndex 提供支持的复杂问答助手，利用最先进的语言模型和索引框架轻松浏览 PDF 文档的海洋。嵌入模型的选择对于捕获文档的语义本质至关重要。
博客
使用 LangChain 的 LangGraph 构建 AI 编码代理
04-01 55
LangGraph是LangChain生态系统的延伸。虽然LangChain允许构建可以使用多种工具执行任务的AI编码代理，但它无法跨步骤协调多个链或参与者。这是创建完成复杂任务的代理的关键行为。LangGraph 的构思牢记了这些事情。它将代理工作流视为循环图形结构，其中每个节点表示一个函数或 Langchain Runnable 对象，边是节点之间的连接。LangGraph 的主要功能包括节点：任何函数或 Langchain Runnable 对象，如工具。边：定义节点之间的方向。
博客
Suno AI：现在任何人都可以创作所有类型的音乐
03-28 93
Suno AI 是一种创新工具，它利用人工智能的力量根据用户提示生成歌曲。它于 2023 年底推出，是 Microsoft 和 Suno AI 之间的合作伙伴关系，为人工智能驱动的音频技术提供了一种独特的方法。与其他专注于生成文本的 AI 工具不同，它可以创建 60 秒的歌曲，为用户提供一个富有创意且易于访问的平台，让他们参与音乐创作，无论他们的音乐训练如何。该工具特别值得一提的是，它有可能通过歌曲创作来增强语言学习，为学生提供一种吸引语言习得的新方法。
博客
谷歌人工智能提前 5 天预测河流洪水
03-26 27
在本文中，我们将了解谷歌的研究论文，该论文探讨了使用人工智能 （AI） 提前 5 天预测河流洪水，详细介绍了其对 80 多个国家的潜在影响，尤其是在数据稀缺和脆弱的地区。谷歌的研究论文深入探讨了人工智能在全球洪水预报中的应用，重点介绍了人工智能流量预测模型的发展，该模型扩展了以前在水文临近预报模型方面的工作。基于人工智能的预报提供了一个有前途的解决方案，将当前全球临近预报的可靠性延长到5天的准备时间，并将非洲的预报技能提高到与欧洲相当的水平。而且是免费的，这凸显了人工智能在加强洪水事件预警系统方面的潜力。
博客
AI For Education，未来已来！
03-26 17
浙江大学药学院朱峰老师在《医药人工智能》课程中，基于生成式的学习平台构建了“从启发式提问，到生成式探究，再到集中研讨”的教学新模式，借助Generative AI的生成能力为学生对药物设计、靶标发现的思考提供更多的选择与可能。浙江大学外国语学院闵尚超老师将学校自主研发的慧学外语智能学习平台，运用于大学外语教学改革实践，针对传统外语教学中的多语境综合培养不足、个性化学习指导不足和实时评价监测不足等问题，运用Generative AI实现“教、学、评、研”一体化，赋能国际化复合型人才培养。
博客
足球中的人工智能？利物浦足球俱乐部使用 DeepMind 的 TacticAI 进行高冲击力的角球
03-22 35
关于“TacticAI：足球战术的人工智能助手”的研究论文提出了TacticAI作为这一未满足需求的解决方案，并强调了与利物浦足球俱乐部的领域专家密切合作的开发和评估。这位创新的助理教练分析和优化角球战术。与利物浦足球俱乐部的足球领域专家进行的验证研究强调了 TacticAI 战术建议的实际适用性和有效性，这些建议与现实世界的战术没有区别，并且比现有策略更受欢迎。具体来说，TacticAI 的几何深度学习方法是群等变卷积网络的一种变体，它可以生成给定情况的所有四种可能的反映，并强制预测在它们之间是相同的。
博客
如何使用 Gemma LLM？
03-20 36
Gemma 是一个基于 Google Gemini 模型的开放语言模型系列，在多达 6T 个文本标记上进行训练。这些被认为是双子座模型的较轻版本。Gemma 系列由两种规模组成：用于在 GPU 和 TPU 上高效部署的 70 亿参数模型，以及用于 CPU 和设备端应用程序的 20 亿参数模型。Gemma 在文本领域表现出强大的通才能力以及最先进的大规模理解和推理技能。与不同领域（包括问答、常识推理、数学和科学以及编码）中其他类似或更大规模的开放模型相比，它实现了更好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值