树莓派通过webRTC进行视频流传输到公网

菌菌的快乐生活

已于 2024-07-31 22:10:24 修改

阅读量1k

点赞数 5

文章标签： webrtc

于 2024-07-31 17:53:46 首次发布

本文链接：https://blog.csdn.net/weixin_46084533/article/details/140829023

版权

为了实现树莓派和浏览器之间的视频流传输，你需要在公网服务器上运行 Node.js 的信令服务器，同时在树莓派上运行 Node.js 客户端代码。以下是具体的步骤和说明：

1. 公网服务器

安装 Node.js：在公网服务器上，你需要安装 Node.js 来运行信令服务器。
信令服务器：信令服务器用于处理 WebRTC 连接的信令消息（如 SDP offer、SDP answer 和 ICE candidates）。这部分代码运行在公网服务器上。

2. 树莓派

安装 Node.js：你也需要在树莓派上安装 Node.js，以便能够运行客户端代码。
客户端代码：树莓派上运行的客户端代码将捕获摄像头的视频流，并通过 WebRTC 将其发送到浏览器。这部分代码会使用 Socket.IO 或其他库来与信令服务器进行通信。

具体步骤

1. 在公网服务器上

安装 Node.js：

sudo apt-get update
sudo apt-get install -y nodejs npm

创建信令服务器（例如 server.js）：

const express = require('express');
const http = require('http');
const socketIo = require('socket.io');

const app = express();
const server = http.createServer(app);
const io = socketIo(server);

app.use(express.static('public'));

io.on('connection', (socket) => {
    console.log('A user connected');

    socket.on('offer', (offer) => {
        socket.broadcast.emit('offer', offer);
    });

    socket.on('answer', (answer) => {
        socket.broadcast.emit('answer', answer);
    });

    socket.on('candidate', (candidate) => {
        socket.broadcast.emit('candidate', candidate);
    });
});

const PORT = process.env.PORT || 3000;
server.listen(PORT, () => {
    console.log(`Server is running on port ${PORT}`);
});

启动信令服务器：
```
node server.js
```

2. 在树莓派上

安装 Node.js：

sudo apt-get update
sudo apt-get install -y nodejs npm

创建客户端项目（例如 client.js）：

const io = require('socket.io-client');
const { exec } = require('child_process');

const socket = io('http://<你的公网服务器IP>:3000');

// WebRTC 连接
let peerConnection = new RTCPeerConnection({
    iceServers: [{ urls: 'stun:stun.l.google.com:19302' }]
});

socket.on('offer', async (offer) => {
    await peerConnection.setRemoteDescription(new RTCSessionDescription(offer));
    const answer = await peerConnection.createAnswer();
    await peerConnection.setLocalDescription(answer);
    socket.emit('answer', answer);
});

socket.on('answer', (answer) => {
    peerConnection.setRemoteDescription(new RTCSessionDescription(answer));
});

socket.on('candidate', (candidate) => {
    peerConnection.addIceCandidate(new RTCIceCandidate(candidate));
});

// 开始摄像头流
function startCameraStream() {
    const cmd = "raspivid -o - -t 0 -vf -hf -n";  // 使用 raspivid 命令
    const ffmpeg = exec(`ffmpeg -re -i pipe: <your-pipe> -c:v copy -f mpegts udp://localhost:1234`);

    ffmpeg.stdout.on('data', (data) => {
        // 将视频流添加到 peerConnection
        peerConnection.addTrack(new MediaStream(data));
    });
}

// 启动摄像头流
startCameraStream();

启动客户端：
```
node client.js
```

html

当然，在前端 HTML 页面中，我们需要使用 WebRTC API 来显示来自树莓派摄像头的视频流。下面将提供完整的 HTML 页面代码，包括如何显示摄像头视频流。

更新后的 `index.html`

请在你的 public 文件夹中创建或更新 index.html 文件，内容如下：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>WebRTC Camera Stream</title>
</head>
<body>
    <h1>WebRTC Camera Stream</h1>
    <video id="video" autoplay playsinline style="width: 100%; max-width: 800px;"></video>
    <script src="/socket.io/socket.io.js"></script>
    <script>
        const video = document.getElementById('video');
        const socket = io();

        const peerConnection = new RTCPeerConnection({
            iceServers: [{ urls: 'stun:stun.l.google.com:19302' }]
        });

        peerConnection.onicecandidate = (event) => {
            if (event.candidate) {
                socket.emit('candidate', event.candidate);
            }
        };

        peerConnection.ontrack = (event) => {
            video.srcObject = event.streams[0];
        };

        async function startStream() {
            // 使用 WebRTC 从树莓派接收流
            const offer = await peerConnection.createOffer();
            await peerConnection.setLocalDescription(offer);
            socket.emit('offer', offer);
        }

        socket.on('offer', async (offer) => {
            await peerConnection.setRemoteDescription(new RTCSessionDescription(offer));
            const answer = await peerConnection.createAnswer();
            await peerConnection.setLocalDescription(answer);
            socket.emit('answer', answer);
        });

        socket.on('answer', (answer) => {
            peerConnection.setRemoteDescription(new RTCSessionDescription(answer));
        });

        socket.on('candidate', (candidate) => {
            peerConnection.addIceCandidate(new RTCIceCandidate(candidate));
        });

        // 启动视频流
        startStream();
    </script>
</body>
</html>