虚幻5数字人,UE5蓝图如何通过VaRest发送请求到llama3本地的API,UE5发送POST请求

首先我们先看下llama3需要的请求格式,这里我使用的是chat的多轮对话格式

http://localhost:11434/api/chat

请求类型:

POST

请求头:

Content-Type=application/json

Authorization=Bearer APIKEY

请求体:

{

    "model": "llama3-wsq",

    "messages": [

        {

            "role": "user",

            "content": "你叫什么名字?"

        },

        {

            "role": "assistant",

            "content": "我叫猪神,请问有什么可以帮你"

        },

        {

            "role": "user",

            "content": "你觉得天空为什么是蓝色的?"

        }

    ],

  "stream": false

}

:其他的API调用也都差不多,根据需求可自己调整(llama的api不需要请求头的,只是为了更全面的记录我加上的

1.导入VaRset插件

Epic Games的虚幻商城中搜索VaRest

点击免费

然后到库中将他安装到对应的引擎上

打开你的项目一>编辑一>插件

 

 搜索VaRest并且打上勾

2.设置关卡蓝图 

打开关卡蓝图

 蓝图总览

 

 

免责声名:博客所涉及插件均为免费,内容为自己学习研究总结,请勿下载用作其他用途,学习笔记,无任何收入,只为共同进步,如果遇到问题,欢迎私信我共同讨论  

"llama3" 是一款 Python 库,通常用于自然语言处理任务,特别是文本生成和聊天机器人方面。要将 llama3 在本地部署并提供 API 接口,你需要按照以下步骤操作: 1. **安装库**: 首先,确保已经安装了必要的依赖项,包括 `llama3` 自身,可能还需要其他 NLP 库如 `transformers`。你可以通过 pip 安装: ``` pip install llama3 transformers ``` 2. **下载预训练模型**: llama3 可能需要特定的预训练模型,比如 GPT-Neo、Chinchilla 等。从 GitHub 或官方仓库下载模型文件。 3. **编写服务器代码**: 使用 Flask 或 FastAPI 这样的框架创建一个简单的 Web 服务。示例代码如下: ```python from flask import Flask, request, jsonify from llama3 import Llama app = Flask(__name__) llama = Llama(model_name='your_model_name') @app.route('/generate', methods=['POST']) def generate_text(): input_text = request.form.get('input') response = llama.generate(input_text) return jsonify(response) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) # 本地主机监听 5000端口 ``` 将 `'your_model_name'` 替换为你下载的模型名称。 4. **运行服务**: 运行你的Python脚本,现在你可以通过 `http://localhost:5000/generate?input=<your_input>` 来发送请求并接收回复。 5. **安全与访问控制**: 考虑到可能的安全性和隐私问题,你可能会想要限制 API 的访问,例如添加身份验证、速率限制等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值