LangChain + Qwen（DashScope API）

---

引言

常见的 RAG 示例，一般使用 OpenAI，你也可以使用 Qwen 作为 LLM。
在 LangChain 中，调用 Tongyi 来实现。（而不是 Qwen）

官方文档描述：
https://python.langchain.com/docs/integrations/llms/tongyi
中文：http://docs.autoinfra.cn/docs/integrations/llms/tongyi

---

如果你想看 langchain 支持哪些 llm，也可以前往代码安装包查看，我的地址是：
~/miniconda3/lib/python3.11/site-packages/langchain_community/llms

---

DashScope API KEY

关于 DashScope 我的小结：
https://blog.csdn.net/lovechris00/article/details/136938486

你需要在阿里云平台，创建 DashScope API KEY。
创建前，需要经过实名认证。

https://help.aliyun.com/document_detail/611472.html

---

代码

import os
from langchain_community.llms import Tongyi

DASHSCOPE_API_KEY = 'sk-xxxx'
os.environ["DASHSCOPE_API_KEY"] = DASHSCOPE_API_KEY

text = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
Tongyi().invoke(text)  

---

from langchain_core.prompts import PromptTemplate

# llm = Tongyi()
llm = Tongyi(dashscope_api_key=DASHSCOPE_API_KEY)

# 指定模型
llm=Tongyi(model_name="qwen-plus",temperature=0.1)

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | llm

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

chain.invoke({"question": question})


'Justin Bieber was born on March 1, 1994. The Super Bowl that took place in the same calendar year was Super Bowl XXVIII, which was played on January 30, 1994. The winner of Super Bowl XXVIII was the Dallas Cowboys, who defeated the Buffalo Bills with a score of 30-13.'

 

---

可用模型及费用

本文记录于 2024-03-19

https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing

---

模型说明

模型名称	模型简介	模型输入/输出限制
qwen-turbo	通义千问超大规模语言模型，支持中文、英文等不同语言输入。	模型支持8k tokens上下文，为了保证正常的使用和输出，API限定用户输入为6k tokens。
qwen-plus	通义千问超大规模语言模型增强版，支持中文、英文等不同语言输入。	模型支持32k tokens上下文，为了保证正常的使用和输出，API限定用户输入为30k tokens。
qwen-max	通义千问千亿级别超大规模语言模型，支持中文、英文等不同语言输入。随着模型的升级，qwen-max将滚动更新升级，如果希望使用稳定版本，请使用qwen-max-1201。	模型支持8k tokens上下文，为了保证正常的使用和输出，API限定用户输入为6k tokens。
qwen-max-1201	通义千问千亿级别超大规模语言模型，支持中文、英文等不同语言输入。该模型为qwen-max的快照稳定版本，预期维护到下个快照版本发布时间（待定）后一个月。	模型支持8k tokens上下文，为了保证正常的使用和输出，API限定用户输入为6k tokens。
qwen-max-longcontext	通义千问千亿级别超大规模语言模型，支持中文、英文等不同语言输入。	模型支持30k tokens上下文，为了保证正常的使用和输出，API限定用户输入为28k tokens。

---

计费单价

模型服务： 通义千问

模型名	计费单价
	qwen-turbo
qwen-plus	0.02元/1,000 tokens
qwen-max	0.12元/1,000 tokens
qwen-max-1201	同上
qwen-max-longcontext	同上

---

说明

• qwen-turbo原来为qwen-v1（已弃用）。
  qwen-v1计费与qwen-turbo保持一致。
• qwen-plus原来为qwen-plus-v1（已弃用）。
  qwen-plus-v1计费与qwen-plus保持一致。

---

免费额度

模型名	免费额度
qwen-turbo	开通DashScope即获赠总计 2,000,000 tokens限时免费使用额度，有效期 180 天。
qwen-plus	开通DashScope即获赠总计 1,000,000 tokens限时免费使用额度，有效期 180 天。
qwen-max	开通DashScope即获赠总计1,000,000 tokens限时免费使用额度，有效期30天。
qwen-max-1201	同上
qwen-max-longcontext	同上

---

重要

免费额度将在开通服务后的下一个整点生效。
例如，您在15:30开通灵积服务，您的免费额度将在16:00后生效，将抵扣您16:00后产生的账单费用。

---

伊织 2024-03-19（二）