Streamlit是一个Python框架,开发者可以使用它快速构建web应用程序,而无需前端编码。除此之外,开发者还可以制作实时视频/音频处理应用程序,从用户的媒体设备接收视频/音频流,在最简单的例子中,只需大约10行代码。
由于这类应用是基于网络的,它们可以部署到云端,方便地与用户共享,并具有现代且用户友好的UI。
此技术可用于创建视频/音频应用程序的演示和原型设计,如人体或物体检测、样式转换、语音识别、视频聊天应用程序等。
你可以在下面的示例部分看到更多例子。
注意:这些示例应用程序托管在公共云(Streamlight cloud)上,视频和音频流被传输到云服务器并在云服务器上进行处理。虽然这些数据只在内存中处理,不保存到任何存储器中,但是,如果你担心,请不要使用它们。
至于本文中的以下内容,我们可以在本地执行。此外,你可以按照下面示例部分的说明,在本地尝试上述示例。
基于网络的应用程序的优势
我们通常使用OpenCV构建图像或视频处理的实时演示应用程序。你们中的一些人(尤其是这类领域的开发人员或研究人员)可能已经多次看到以下代码或类似代码。
import cv2
cap = cv2.VideoCapture(0)
while True:
ret, frame = cap.read()
img = cv2.Canny(frame, 100, 200) # Some image processing
cv2.imshow('frame', img)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
与上面使用cv2.VideoCapture和cv2.imshow相比,基于网络的应用程序具有以下优点。
易于分享和运行:
如果我们在云上部署应用程序,我们可以通过发送URL与用户共享应用程序。
用户只能通过网络浏览器访问这些应用。它不需要任何设置或外部依赖项。
可在智能手机上使用:
因为用户只需要网络浏览器,所以用户可以在智能手机上使用这些应用。如果我们能在这样的便携式设备上展示演示会很方便。
用户友好界面:
开发人员可以使用文本输入、滑块或其他基于web的组件来接受用户输入或显示数据。最近几天,这种基于网络的UI比桌面GUI对用户更友好。
教程
我们将创建一个简单的基于网络的实时视频处理应用程序。请在有摄像头和麦克风的环境中尝试本教程。
你可以在此存储库中查看本教程的最终结果:
https://github.com/whitphx/streamlit-webrtc-article-tutorial-sample
在本教程中,我们将编写app.py。请创建一个空应用。
$ touch app.py
安装必要的软件包
接下来,我们必须安装本教程所需的软件包。
$ pip install -U streamlit streamlit-webrtc opencv-python-headless