郭老二

图像视频博文汇总：FFmpeg、GStreamer、OpenCV、H264、Live555

本文详细介绍了H.264编码中的Baseline Profile和Constrained Baseline Profile，以及它们在视频编码中的应用和限制。Baseline Profile适用于低复杂度、实时通信场景，如视频会议和移动设备直播，支持逐行扫描和隔行扫描，但不支持B帧和CABAC编码。Constrained Baseline Profile在Baseline基础上进一步限制语法，强制逐行扫描，适用于严格实时通信场景，如WebRTC和实时流媒体协议。文章还扩展了H.264中的视频色彩和扫描属性，

本文介绍了如何使用FFmpeg命令将RTSP流转换为RTMP流，并解决转流过程中可能遇到的卡死、出错等问题。通过编写Shell脚本，结合while循环和信号处理机制，实现自动重启和日志记录功能，确保转流过程的稳定性。针对RTSP连接超时和RTMP服务器异常导致的卡死问题，文章提供了添加超时参数、强制使用TCP传输等解决方案。此外，还探讨了关闭音频、优化实时性、启动调试信息等进一步的优化措施。文章最后扩展了参数优化的相关内容，包括低延迟、画质增强、抗丢包、自适应码率、缓冲与超时控制、优化输入RTSP和输出RT

解码MP3有很多种方法，比如：FFmpeg、GStreamer、Qt、libmpg123 库等，下面介绍使用，只使用Qt的接口方法解码、播放MP3。开发配置：1）操作系统：Windows112）Qt版本：Qt6.5.13）编译器：MinGW_64。

音频信号：声音是一种机械波，经过麦克风等设备转化为电信号，再经过模数转换（ADC）变成数字信号，这个数字信号就是音频信号。

OpenCV：色彩空间转换

视频文件转m3u8、m3u8直播、点播视频服务器搭建

OrinNX+Ubuntu20.04：移植OpenCV-4.11.0 with CUDA（含opencv_contrib ）

分辨率、帧率、I帧设置不变的情况下，码率过低时，IP摄像机如果没有足够的带宽来传输高质量的图像，便会抹掉一些细节，导致出现马赛克，尤其是动态性强的画面（比如：运动的云台、非固定的摄像头）。

使用 Nginx 搭建RTMP、HLS服务器；FFmpeg 推流RTMP或者视频切片ts，以便Web显示视频

使用SRS将RTMP转WebRTC、HLS等流，以便在浏览器中显示；从网络摄像头中拉取RTSP，转RTMP流；

之前开发TX2、Jetson Nano等使用 NVIDIA SDKManager 在电脑上烧写开发板时，下载安装GPU相关套件（CUDA、cuDNN、TensorRT、VPI、DeepStream等）。Orin 系列开发版，可以直接通过 Jetpack 来安装，避免在电脑上再搭建开发环境。

由于人眼对 Y 的敏感度远超于对 U 和 V 的敏感，所以有时候可以多个 Y 分量共用一组 UV，这样既可以极大得节省空间，又可以不太损失质量。这三种格式就是按照人眼的特性制定的。YUV 420，由 4 个 Y 分量共用一套 UV 分量，YUV 422，由 2 个 Y 分量共用一套 UV 分量YUV 444，不共用，一个 Y 分量使用一套 UV 分量

在 Ubuntu20.04 系统中，使用V4L2获取USB摄像头数据，然后推流至视频服务器，如：SRS、mediamtx。

深度相机相关的话题、消息、字段详解：CameraInfo、Image、PointCloud2

在ROS2中使用深度相机，显示可见光、深度图像、点云。

VideoCapture可以从摄像头或者视频文件（eg：mp4，avi）中获取视频数据。

ZBar可以使用多个方式识别各种条形码和二维码。支持的格式有：EAN-13/UPC-A、UPC-E、EAN-8、Code 128、Code 93、Code 39、Codabar、Interleaved 2 of 5、QR Code和SQ Code支持的来源有：视频流、图像文件等。

在ROS2中处理图像时，经常会用的OpenCV，因此常常会涉及到ROS2话题和cv::Mat的转换ROS2内置消息 sensor_msgs::msg::Image 可以使用 cv_bridge 转换成 OpenCV的 cv::Mat。在使用地平线X3派时，图像消息为hbm_img_msgs/msg/HbmMsg1080P，如何转换成cv::Mat呢？

cv::Scalar是长度为4的数组，可以表示RGBA、或者HSV}Scalar;HSV区间表示方法：cv::Scalar(hmin, smin, vmin)和cv::Scalar(hmax, smax, vmax)

分析音频、查看音频图、调整分贝ffmpeg -i a.mp3 -filter_complex "showwavespic=s=640x640" -frames:v 1 a.png

先看几张爆炸图：lens：镜头VCM：音圈马达 Voice coil motorMount ：固定座IR Filter：滤光片Sensor：感光传感器（图像传感器）Substrate：基板FPC：柔性印制电路板。

演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。在管道pipe中使用多个媒体源src（MJPEG流）；自定义解码bin，封装mjpeg编解码器。配置流复用器mux生成一批帧，并在批处理上进行推断（nvinfer），以更好地利用资源。提取流元数据，其中包含有关批处理缓冲区中帧的有用信息。“nvinfer”元素使用 TensorRT API 对帧/对象进行推断，用在Jetson嵌入式板子上；

nvds_dependencies_version_print 用于打印 DeepStream SDK 依赖的第三方库的版本信息，如 CUDA、cuDNN 和 TensorRT 等的版本号。命令行参数的定义时，使用 G_OPTION_ARG_FILENAME_ARRAY 指定参数为文件名数组（字符串数组）为每个配置文件创建对应的上下文结构体AppCtx，AppCtx中记录相关的状态、环境、输入参数、运行时参数等信息。两个重要的命令行参数，-c 和 -i 分别用于指定配置文件和输入的url。

deepstream-test1：演示各种 DeepStream 插件构建 GStreamer 管道。从文件中获取视频、解码、批处理，然后进行对象检测，最后在屏幕上渲染框。源码路径：/opt/nvidia/deepstream/deepstream/sources/apps/sample_apps/deepstream-test1先看下效果。

GStreamer基础教程4源码学习：媒体时长、跳转进度实现的基础

GStreamer示例学习：信号注册、发送、连接、处理详细流程

GStreamer基本教程2：创建、链接GstElement，修改其属性、状态；代码注释、涉及函数的详解

GstBus负责将 GstMessage 以先进先出的方式从GStreamer内部线程传递到应用程序中。

【GStreamer】GstPad详解：SRC、SINK、GstCaps、GstStructure

GStreamer 中最重要的对象——GstElement详解、创建、使用

Jetson Orin Nano上使用Qt+QGtreamer开发系列：将gstreamer输出的图像显示到Qt控件上

Jetson Orin Nano系列：Qt+Gstreamer开发01-pro中配置gstreamer库和头文件路径

使用OBS将MP4推流至腾讯云直播

NVR多属于前端部署，边缘存储性质。ip-san属于中心机房存储，适用于全集中或分散集中存储方式；在高清监控领域IP-SAN更侧重于特殊行业的大型联网数据存储。该技术不仅具有超强的集中解决能力，同时在长距离传输及管理方面也有相应的表现。ip-san支持多种RAID等级：0、1、0+1、3、5，在多数情况下，Arena公司推荐使用RAID5，因为RAID5的硬盘使用率较高，是安全性较高的RAID等级。

PJSIP库：语音功能的回声消除、声卡设备的热拔插、声音去抖详解

PJSIP库 C++ 部分接口PJSUA2的Call、Buddy的说明和使用

PJSIP库，演示视频的获取、本地预览、发送接收视频

PJSIP使用音频媒体类来捕获、播放、传输、接收、录制音频，实现多方电话会议

详细讲解PJSIP的C++接口PJSUA2的类