Langchain使用 huggingface hub中的模型LLM

以下使用的模型是:google/flan-t5-xxl

from langchain.chains import LLMChain
from langchain_core.prompts import ChatPromptTemplate
from langchain import hub
from langchain_community.llms import HuggingFaceHub 
from langchain_community.llms import HuggingFaceTextGenInference
import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = "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"

prompt = ChatPromptTemplate.from_template("""
Question: {input}
Answer: Let's think step by step
"""
    )
    
repo_id = "google/flan-t5-xxl"  # See https://huggingface.co/models?pipeline_tag=text-generation&sort=downloads for some other options
   # repo_id = "databricks/dolly-v2-3b"
    
llm = HuggingFaceHub(
    repo_id= repo_id,
       # repo_id="LLM360/CrystalChat",
    
    model_kwargs={"temperature":0.2, "max_length":18000}
)
chain = LLMChain(llm=llm,prompt=prompt)
print(chain.invoke("In the first movie of Harry Potter, what is the name of the three-headed dog? "))

确认可以使用的:
HuggingFaceH4/zephyr-7b-beta

repo_id=“databricks/dolly-v2-3b”,

#  repo_id="bigscience/bloomz-560m",
repo_id="google-t5/t5-small",

openchat/openchat-3.5-0106

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值