大模型相关目录
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。
- RAGOnMedicalKG：大模型结合知识图谱的RAG实现
- DSPy：变革式大模型应用开发
- 最简明的Few-shot Prompt指南
- Semantic Kernel：微软大模型开发框架——LangChain 替代
- 对话大模型Prompt是否需要礼貌点？
- swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
- 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
- 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
- miniconda+xinference的大模型推理部署指南
- Mem0：大模型最强赋能“有记忆的LLM”
- 再谈Agent：Dify智能体实现Txet2SQL
- Moe模式：或将是最好的大模型应用开发路径
- 一文带你了解大模型RAG
- 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
- 再分享API形式调用Dify项目应用
代码
import requests
import json
# API的URL
api_url = "http://172.20.32.127:5001/v1/chat-messages"
# 认证令牌，替换为您的API密钥
api_key = "app-fvFyFZ9HjnXSLRhvWzeCbaYb"
# 要发送的数据
data = {
"inputs": {},
"query": "请介绍下烟台市大数据局",
"response_mode": "blocking",
"conversation_id": "",
"user": "abc-123"
}
# 设置请求头
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
# 发送POST请求
response = requests.post(api_url, headers=headers, data=json.dumps(data), stream=True)
# 检查响应状态码
if response.status_code == 200:
# 如果是流式响应，则按块读取数据
if data['response_mode'] == 'streaming':
try:
for line in response.iter_lines():
if line:
# 尝试解析每一行
json_data = json.loads(line.decode('utf-8'))
print(json_data)
except json.JSONDecodeError as e:
# 如果解析错误，打印错误信息
print(f"JSONDecodeError: {e}")
else:
# 打印完整的响应内容
print(response.json())
else:
# 打印错误信息
print(f"Error: {response.status_code}, {response.text}")
代码内字段解读
当然，以下是代码中每个关键变量的解释：
-
api_url:- 类型: 字符串 (string)
- 描述: 这是API的端点地址，即客户端需要发送请求的URL。在这个例子中，API的URL是
http://172.20.32.127:5001/v1/chat-messages，这意味着客户端需要向这个地址发送HTTP请求以访问API。
-
api_key:- 类型: 字符串 (string)
- 描述: 这是一个用于认证的令牌（通常称为API密钥或访问令牌），它用于验证请求者是否有权限访问API。在这个例子中，
api_key是"app-fvFyFZ9HjnXSLRhvWzeCbaYb"。API密钥通常由API提供者提供，并且应当保密，不应在公开场合暴露。
-
query:- 类型: 字符串 (string)
- 描述: 这是客户端发送给API的查询内容或问题。在这个例子中，
query是"请介绍下烟台市大数据局"，意味着客户端希望API返回有关烟台市大数据局的信息。
-
response_mode:- 类型: 字符串 (string)
- 描述: 这个参数定义了API响应的模式。它可以是
"streaming"（流式模式）或"blocking"（阻塞模式）。在这个例子中，response_mode设置为"blocking"，这意味着API将在处理完请求后返回完整的响应。
-
user:- 类型: 字符串 (string)
- 描述: 这个参数是用户标识，用于追踪和识别发送请求的用户。在这个例子中，
user是"abc-123"。这可以是一个用户名、用户ID或其他唯一标识符。
-
headers:- 类型: 字典 (dictionary)
- 描述: 这是一个包含HTTP请求头的字典。这些请求头提供了关于请求的额外信息，例如内容类型、认证信息等。在这个例子中，
headers包含以下键值对："Authorization":"Bearer {api_key}"，这是认证头，用于发送API密钥以进行认证。"Content-Type":"application/json"，这表明请求体中的数据是JSON格式。
这些变量和它们的值一起定义了如何向API发送请求，以及客户端期望从API获得什么样的响应。
其他字段保持默认即可。
响应结果
scorecontent{
'event': 'message',
'task_id': 'dbc1df6f-4970-49aa-aada-7f814c7907f7',
'id': '665f17b1-4d18-4e2c-b2a6-8a8f663a1c8e',
'message_id': '665f17b1-4d18-4e2c-b2a6-8a8f663a1c8e',
'conversation_id': '8c1efe63-b8ec-4ccf-aba6-8259055fc1fb',
'mode': 'advanced-chat',
'answer': '截至我所知的信息，烟台市大数据局是负责烟台市大数据发展和管理的政府机构。它的主要职责包括推进大数据在公共服务、城市管理、经济发展等领域的应用，促进数据的开放共享，以及制定相关政策和标准，保障数据的安全和隐私。\n\n烟台市大数据局的成立是为了适应大数据时代的发展需求，推动政府数据的开放共享，提升政府服务和管理效率，同时促进数字经济的发展。该局的具体职责、组织结构、联系方式等信息可能会有所变化，建议您访问烟台市政府官方网站或直接联系烟台市大数据局获取最新的信息。',
'metadata': {'usage': {'prompt_tokens': 1692,
'prompt_unit_price': '2.5',
'prompt_price_unit': '0.000001',
'prompt_price': '0.0042300',
'completion_tokens': 245,
'completion_unit_price': '2.5',
'completion_price_unit': '0.000001',
'completion_price': '0.0006125',
'total_tokens': 1937,
'total_price': '0.0048425',
'currency': 'RMB',
'latency': 3.7538376417942345},
'retriever_resources': [{'position': 1,
'dataset_id': '6a460099-e561-466b-ab07-7ae97ac935f3',
'dataset_name': '烟台市民卡知识库',
'document_id': '15cfab98-5608-4013-86a1-51b75e82e6c5',
'document_name': '烟台市民卡相关业务办理地址.txt',
'data_source_type': 'upload_file',
'segment_id': 'ac1b586e-07e5-4ab2-94d5-6029c201b09f',
'retriever_from': 'workflow',
'score': 0.5285138487815857,
'hit_count': 28,
'word_count': 105,
'segment_position': 1,
'index_node_hash': '6ff21b777080fa60796c1168f0a554a09e10e45c44a335272004934519476fc0',
'content': '1、莱山区\n★ 烟台市政务服务中心\n地址：莱山区银海路46号。\n工作时间：周一到周五（节假日除外）。\n夏令：8:30-11:50 ，14:00-17:30\n冬令：8:30-11:50 ，13:30-17:00\n'},
{'position': 1,
'dataset_id': '1110cb1c-c60b-49b4-ab31-9fc5a18395cb',
'dataset_name': '山东政务服务网烟台政策文件',
'document_id': 'e9907cb8-c3cd-4cc0-9e0f-f46d7fabb3d1',
'document_name': '对统计调查对象依法建立原始记录、统计台账和统计资料管理制度情况检查.txt',
'data_source_type': 'upload_file',
'segment_id': 'bc0f540d-3dd9-4fd1-9c03-6e009abc65bf',
'retriever_from': 'workflow',
'score': 0.5278661847114563,
'hit_count': 8,
'word_count': 490,
'segment_position': 1,
'index_node_hash': '82c6a33292b42ad038e1eefcad7cbe23b8ce36aba600e9ff506279e17a398692',
'content': '{\n "实施主体": "烟台市统计局",\n "承办机构": "烟台市统计局法规科",\n "事项版本": "22",\n "办理结果名称": "检查报告",\n "法定办结时限": "50个工作日",\n "是否存在运行系统": "暂无",\n "咨询渠道": "窗口咨询：山东省烟台市芝罘区通世路90号，3号楼117室。 电话咨询：0535-6245896",\n "投诉渠道": "电话投诉：0535-6692191",\n "受理时间、地点": "受理地点：山东省烟台市芝罘区通世路90号，3号楼117室。 受理时间：工作日，5月1日-10月31日，上午8:30-12:00，下午14:00-17:30；11月1日-4月30日，上午8:30-12:00，下午13:30-17:00.",\n "政策法规标题": "对统计调查对象依法建立原始记录、统计台账和统计资料管理制度情况检查",\n "URL": "http://ytzwfw.sd.gov.cn/yt/icity/proinfo/index?code=2133ea201e-0f18-4518-9b6a-8a26398d3799"\n}'},
{'position': 1,
'dataset_id': '1110cb1c-c60b-49b4-ab31-9fc5a18395cb',
'dataset_name': '山东政务服务网烟台政策文件',
'document_id': 'bce71d2f-2e4b-4374-aceb-540cc02f66c9',
'document_name': '互联网新闻信息服务活动监督检查.txt',
'data_source_type': 'upload_file',
'segment_id': 'f6da346f-0f9c-4497-b0d4-39c13dd7bdba',
'retriever_from': 'workflow',
'score': 0.5188962817192078,
'hit_count': 11,
'word_count': 526,
'segment_position': 1,
'index_node_hash': '4c5267887aeba5e0fe2e1fd3c250377c96bf25fe9ecfc77454472065884911f5',
'content': '{\n "实施主体": "中共烟台市委网络安全和信息化委员会办公室",\n "承办机构": "烟台市互联网信息办公室",\n "事项版本": "17",\n "办理结果名称": "检查相关材料",\n "法定办结时限": "暂无",\n "是否存在运行系统": "暂无",\n "咨询渠道": "窗口咨询：烟台市莱山区观海路333号广电大厦B座５楼烟台市互联网信息办公室 电话咨询：0535-6789119，6789513",\n "投诉渠道": "电话投诉：0535-6789119，6789513",\n "受理时间、地点": "受理地点：烟台市莱山区观海路333号广电大厦B座５楼烟台市互联网信息办公室 受理时间：5月-10月夏季办公时间工作日上午 08:30-12:00,下午 14:00-17:30；11月-4月冬季办公时间工作日上午 08:30-12:00,下午 13:30-17:00。",\n "政策法规标题": "互联网新闻信息服务活动监督检查",\n "URL": "http://ytzwfw.sd.gov.cn/yt/icity/proinfo/index?code=2140e8e0bd-7e90-46fa-8a4a-4f96236ff670"\n}'},
{'position': 1,
'dataset_id': '1110cb1c-c60b-49b4-ab31-9fc5a18395cb',
'dataset_name': '山东政务服务网烟台政策文件',
'document_id': 'f06253df-da71-49d2-8e38-a27ccb191b33',
'document_name': '网络信息安全监督检查.txt',
'data_source_type': 'upload_file',
'segment_id': 'a20acf3f-54ae-48fc-9b8d-36ad1b644979',
'retriever_from': 'workflow',
'score': 0.5187405347824097,
'hit_count': 11,
'word_count': 523,
'segment_position': 1,
'index_node_hash': 'f54eee38082b0679beedf7581d86b41e63ff35c651b919041856f2fc6f353e5e',
'content': '{\n "实施主体": "中共烟台市委网络安全和信息化委员会办公室",\n "承办机构": "烟台市互联网信息办公室",\n "事项版本": "13",\n "办理结果名称": "办理结果回复材料",\n "法定办结时限": "暂无",\n "是否存在运行系统": "暂无",\n "咨询渠道": "窗口咨询：烟台市莱山区观海路333号广电大厦B座5楼烟台市互联网信息办公室 电话咨询：0535-6789119，6789513",\n "投诉渠道": "电话投诉：0535-6789119,6789513",\n "受理时间、地点": "受理地点：烟台市莱山区观海路333号广电大厦B座5楼烟台市互联网信息办公室 受理时间：5月-10月夏季办公时间工作日上午 08:30-12:00,下午 14:00-17:30；11月-4月冬季办公时间工作日上午 08:30-12:00,下午 13:30-17:00。",\n "政策法规标题": "网络信息安全监督检查",\n "URL": "http://ytzwfw.sd.gov.cn/yt/icity/proinfo/index?code=21895318b7-c795-4a67-8c1e-1d91f6ea7650"\n}'},
{'position': 1,
'dataset_id': '6a460099-e561-466b-ab07-7ae97ac935f3',
'dataset_name': '烟台市民卡知识库',
'document_id': 'de503462-a4b9-448a-aeb7-7c0042dbe1f9',
'document_name': '烟台市民卡实体卡相关业务规定.txt',
'data_source_type': 'upload_file',
'segment_id': 'aaaa7408-84c3-4e4e-92e0-fde929e4107c',
'retriever_from': 'workflow',
'score': 0.4863045811653137,
'hit_count': 36,
'word_count': 93,
'segment_position': 6,
'index_node_hash': 'a3c044075487891fc149e9fb13b7189e15927bbc939ac8ade7fc66f1c304ebd9',
'content': '3年有效期内，凭卡可免费乘坐烟台市公交集团公司运营的常规公交线路公交车（不含旅游公交、定制公交及联营的城际客运班车等）。\n需要了解烟台市分类认定工作的，请咨询市人才办电话6789200。'}]},
'created_at': 1722906597
}
返回结果为json格式文件。
解析即可获取
- 大模型对用户query所进行的回答{answer}
- 回答检索到的知识库{dataset_name}/知识文档{document_name}/知识{content}/置信度评分{score}。
扫一扫
1778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
