使用Streamlight开发基于Web的实时视频/音频处理应用程序

Streamlit是一个Python框架，开发者可以使用它快速构建web应用程序，而无需前端编码。除此之外，开发者还可以制作实时视频/音频处理应用程序，从用户的媒体设备接收视频/音频流，在最简单的例子中，只需大约10行代码。

由于这类应用是基于网络的，它们可以部署到云端，方便地与用户共享，并具有现代且用户友好的UI。

此技术可用于创建视频/音频应用程序的演示和原型设计，如人体或物体检测、样式转换、语音识别、视频聊天应用程序等。

你可以在下面的示例部分看到更多例子。

注意：这些示例应用程序托管在公共云(Streamlight cloud)上，视频和音频流被传输到云服务器并在云服务器上进行处理。虽然这些数据只在内存中处理，不保存到任何存储器中，但是，如果你担心，请不要使用它们。

至于本文中的以下内容，我们可以在本地执行。此外，你可以按照下面示例部分的说明，在本地尝试上述示例。

基于网络的应用程序的优势

我们通常使用OpenCV构建图像或视频处理的实时演示应用程序。你们中的一些人(尤其是这类领域的开发人员或研究人员)可能已经多次看到以下代码或类似代码。

import cv2

cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()

    img = cv2.Canny(frame, 100, 200)  # Some image processing

    cv2.imshow('frame', img)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

与上面使用cv2.VideoCapture和cv2.imshow相比，基于网络的应用程序具有以下优点。

易于分享和运行：

• 如果我们在云上部署应用程序，我们可以通过发送URL与用户共享应用程序。

• 用户只能通过网络浏览器访问这些应用。它不需要任何设置或外部依赖项。

可在智能手机上使用：

• 因为用户只需要网络浏览器，所以用户可以在智能手机上使用这些应用。如果我们能在这样的便携式设备上展示演示会很方便。

用户友好界面：

• 开发人员可以使用文本输入、滑块或其他基于web的组件来接受用户输入或显示数据。最近几天，这种基于网络的UI比桌面GUI对用户更友好。

教程

我们将创建一个简单的基于网络的实时视频处理应用程序。请在有摄像头和麦克风的环境中尝试本教程。

你可以在此存储库中查看本教程的最终结果：

https://github.com/whitphx/streamlit-webrtc-article-tutorial-sample

在本教程中，我们将编写app.py。请创建一个空应用。

$ touch app.py

安装必要的软件包

接下来，我们必须安装本教程所需的软件包。

$ pip install -U streamlit streamlit-webrtc opencv-python-headless