【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型，api接口测试，速度不错，设备也非常精致！

fly-iot

已于 2024-05-31 07:36:56 修改

阅读量552

点赞数 7

分类专栏： xinference ai技术文章标签： java 数据库缓存

于 2024-05-31 07:31:57 首次发布

本文链接：https://blog.csdn.net/freewebsys/article/details/139338716

版权

ai技术同时被 2 个专栏收录

18 篇文章 1 订阅

订阅专栏

xinference

9 篇文章 0 订阅

订阅专栏

1，拿到了新设备

演示视频地址：
https://www.bilibili.com/video/BV1QJ4m1w7QK/

非常高兴！

【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型

# cat /proc/cpuinfo 
processor	: 0
BogoMIPS	: 96.00
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop sha3 asimddp sha512 sve asimdfhm ssbs sb
CPU implementer	: 0x00
CPU architecture: 8
CPU variant	: 0x1
CPU part	: 0xd02
CPU revision	: 2

processor	: 1
BogoMIPS	: 96.00
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop sha3 asimddp sha512 sve asimdfhm ssbs sb
CPU implementer	: 0x00
CPU architecture: 8
CPU variant	: 0x1
CPU part	: 0xd02
CPU revision	: 2

processor	: 2
BogoMIPS	: 96.00
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop sha3 asimddp sha512 sve asimdfhm ssbs sb
CPU implementer	: 0x00
CPU architecture: 8
CPU variant	: 0x1
CPU part	: 0xd02
CPU revision	: 2

processor	: 3
BogoMIPS	: 96.00
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop sha3 asimddp sha512 sve asimdfhm ssbs sb
CPU implementer	: 0x00
CPU architecture: 8
CPU variant	: 0x1
CPU part	: 0xd02
CPU revision	: 2

2，配置好wifi远程登陆

默认的官方镜像已经配置好了ssh服务，可以直接远程登陆即可。直接使用root进行登陆就行。

ssh root@192.168.1.110
默认密码是：Mind@123

3，安装xinference库和llama-cpp-python

ssh root@192.168.1.110

# 安装xinf 和 llama.cpp 库
pip3 install xinference llama-cpp-python

# 设置环境变量，放到U-pan中
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/media/HwHiAiUser/data

xinference-local --host 0.0.0.0 --port 9997

4，运行qwen-1.5-0.5b大模型：

运行成功：

可以使用stream 执行：


curl -X 'POST' 'http://192.168.1.110:9997/v1/chat/completions' -H 'Content-Type: application/json' -d '{
    "model": "qwen1.5-chat","stream": true,
    "messages": [
        {
            "role": "user",
            "content": "北京景点?"
        }
    ],
    "max_tokens": 512,
    "temperature": 0.7
}'

速度还可以