探索 Hugging Face 端点：快速构建强大的机器学习应用

aehrutktrjk

于 2024-10-06 16:51:31 发布

阅读量160

点赞数 3

文章标签：机器学习人工智能 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142728983

版权

# 探索 Hugging Face 端点：快速构建强大的机器学习应用

## 引言
Hugging Face Hub 是一个集成了超过 12 万个模型、2 万个数据集和 5 万个演示应用的开源平台，为用户提供了丰富的机器学习资源。在这篇文章中，我们将探讨如何通过 Hugging Face 提供的不同端点类型来构建机器学习应用，尤其关注文本生成推理。

## 主要内容

### 安装与设置
要使用 Hugging Face 的端点，首先需要安装 `huggingface_hub` Python 包：

```bash
%pip install --upgrade --quiet huggingface_hub

接下来，获取 API Token：

from getpass import getpass

HUGGINGFACEHUB_API_TOKEN = getpass()
import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = HUGGINGFACEHUB_API_TOKEN

连接到 Hugging Face 端点

在连接到 Hugging Face Endpoints 时，我们可以使用 langchain_huggingface 提供的 HuggingFaceEndpoint。以下是一个基本示例：

from langchain_huggingface import HuggingFaceEndpoint
from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

question = "Who won the FIFA World Cup in the year 1994?"

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

repo_id = "mistralai/Mistral-7B-Instruct-v0.2"

llm = HuggingFaceEndpoint(
    repo_id=repo_id,
    max_length=128,
    temperature=0.5,
    huggingfacehub_api_token=HUGGINGFACEHUB_API_TOKEN,
) # 使用API代理服务提高访问稳定性

llm_chain = prompt | llm
print(llm_chain.invoke({"question": question}))

使用专用端点

对于企业级工作负载，建议使用专用端点，以获得更高的灵活性和速度：

your_endpoint_url = "https://fayjubiy2xqn36z0.us-east-1.aws.endpoints.huggingface.cloud"

llm = HuggingFaceEndpoint(
    endpoint_url=f"{your_endpoint_url}",
    max_new_tokens=512,
    top_k=10,
    top_p=0.95,
    typical_p=0.95,
    temperature=0.01,
    repetition_penalty=1.03,
)
llm("What did foo say about bar?")

流式处理

启用流式处理，可以实时处理输出：

from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_huggingface import HuggingFaceEndpoint

llm = HuggingFaceEndpoint(
    endpoint_url=f"{your_endpoint_url}",
    max_new_tokens=512,
    top_k=10,
    top_p=0.95,
    typical_p=0.95,
    temperature=0.01,
    repetition_penalty=1.03,
    streaming=True,
)
llm("What did foo say about bar?", callbacks=[StreamingStdOutCallbackHandler()])