H264
H264在网络传输的是NALU,NALU的结构是:NAL头+RBSP,实际传输中的数据流如图所示:
其中NAL头占一个字节,其低5个bit位表示NAL type,具体如下表:
NAL type | NAL类型 |
---|---|
0 | 未使用 |
1 | 非IDR的片 |
2 | 片数据A分区 |
3 | 片数据B分区 |
4 | 片数据C分区 |
5 | IDR图像的片 |
6 | 补充增强信息单元(SEI) |
7 | 序列参数集(SPS) |
8 | 图像参数集(PPS) |
9 | 分界符 |
10 | 序列结束 |
11 | 码流结束 |
12 | 填充 |
13…23 | 保留 |
24…31 | 不保留 |
RBSP 为原始字节序列载荷。
NAL type为5,则此帧为I帧即关键帧,type为1时为非关键帧(P帧…)。
在实际的H264数据帧中,往往帧NAL type前面带有00 00 00 01 或 00 00 01分隔符,一般来说编码器编出的首帧数据为PPS与SPS,接着为I帧,然后是P帧…
LivePush 视频流推送#
LivePush通过调用摄像机SDK、拉取RTSP流、读mp4文件等方式获取到H264视频流及音频视频流到本地作为视频源,再以RTSP、RTMP方式推送给流媒体服务器。它们都是支持Windows、Linux、Android、iOS、ARM等全平台的视频流推送程序。
下面介绍下它们在获取到视频流到本地后如何区分I帧和P帧等,然后推送的:
//这段代码是从文件中读取h264数据,然后推送给服务器
unsigned char *ptr=new unsigned char [sample_size];
fread(ptr, sample_size, 1, g_fin);
//写一帧数据 --- 可以直接进行网络推送
//fwrite(ptr, sample_size, 1, fout);
EASY_AV_Frame avFrame;
memset(&avFrame, 0x00, sizeof(EASY_AV_Frame));
/*
*ptr的前4字节是帧分分割符00 00 00 01 , 第5个字节是NAL type
*/
unsigned char naltype = ( (unsigned char)ptr[4] & 0x1F);
avFrame.pBuffer = (unsigned char*)ptr;
avFrame.u32AVFrameLen = sample_size;
avFrame.u32VFrameType = (naltype==0x05)?EASY_SDK_VIDEO_FRAME_I:EASY_SDK_VIDEO_FRAME_P;
avFrame.u32AVFrameFlag = EASY_SDK_VIDEO_FRAME_FLAG;
avFrame.u32TimestampSec = lTimeStamp/1000000;
avFrame.u32TimestampUsec = (lTimeStamp%1000000);
如果视频源不是文件,而是IPCamera 或者RTSP流等,在他们的视频流回调中可能已经告知当前帧是I帧还是P帧,就省去了判断NAL type的步骤。
HI_S32 NETSDK_APICALL OnStreamCallback(HI_U32 u32Handle,/* 句柄 */
HI_U32 u32DataType, /* 数据类型,视频或音频数据或音视频复合数据 */
HI_U8* pu8Buffer, /* 数据包含帧头 */
HI_U32 u32Length, /* 数据长度 */
HI_VOID* pUserData /* 用户数据*/
)
{
HI_S_AVFrame* pstruAV = HI_NULL;
HI_S_SysHeader* pstruSys = HI_NULL;
if (u32DataType == HI_NET_DEV_AV_DATA)
{
pstruAV = (HI_S_AVFrame*)pu8Buffer;
if (pstruAV->u32AVFrameFlag == HI_NET_DEV_VIDEO_FRAME_FLAG)
{
if(fPusherHandle == 0 ) return 0;
if(pstruAV->u32AVFrameLen > 0)
{
unsigned char* pbuf = (unsigned char*)(pu8Buffer+sizeof(HI_S_AVFrame));
EASY_AV_Frame avFrame;
memset(&avFrame, 0x00, sizeof(EASY_AV_Frame));
avFrame.u32AVFrameLen = pstruAV->u32AVFrameLen;
avFrame.pBuffer = (unsigned char*)pbuf;
avFrame.u32VFrameType = (pstruAV->u32VFrameType==HI_NET_DEV_VIDEO_FRAME_I)?EASY_SDK_VIDEO_FRAME_I:EASY_SDK_VIDEO_FRAME_P;
avFrame.u32AVFrameFlag = EASY_SDK_VIDEO_FRAME_FLAG;
avFrame.u32TimestampSec = pstruAV->u32AVFramePTS/1000;
avFrame.u32TimestampUsec = (pstruAV->u32AVFramePTS%1000)*1000;
EasyPusher_PushFrame(fPusherHandle, &avFrame);
}
}
else
if (pstruAV->u32AVFrameFlag == HI_NET_DEV_AUDIO_FRAME_FLAG)
{
if(fPusherHandle == 0 ) return 0;
if(pstruAV->u32AVFrameLen > 0)
{
//不同IPCamera,这里数据头不一样,需要根据各自的SDK跳过对应的大小。有些可能没有自定义数据
unsigned char* pbuf = (unsigned char*)(pu8Buffer+sizeof(HI_S_AVFrame));
EASY_AV_Frame avFrame;
memset(&avFrame, 0x00, sizeof(EASY_AV_Frame));
avFrame.u32AVFrameLen = pstruAV->u32AVFrameLen-4;//去掉厂家自定义的4字节头
avFrame.pBuffer = (unsigned char*)pbuf+4;
avFrame.u32AVFrameFlag = EASY_SDK_AUDIO_FRAME_FLAG;
avFrame.u32TimestampSec = pstruAV->u32AVFramePTS/1000;
avFrame.u32TimestampUsec = (pstruAV->u32AVFramePTS%1000)*1000;
EasyPusher_PushFrame(fPusherHandle, &avFrame);
}
}
}
else
if (u32DataType == HI_NET_DEV_SYS_DATA)
{
pstruSys = (HI_S_SysHeader*)pu8Buffer;
printf("Video W:%u H:%u Audio: %u \n", pstruSys->struVHeader.u32Width, pstruSys->struVHeader.u32Height, pstruSys->struAHeader.u32Format);
}
return HI_SUCCESS;
}
获取更多信息
技术交流QQ群:615081503
咨询电话:15156896292
LiveQing视频流媒体无插件直播方案:www.liveqing.com
Copyright © LiveQing Team 2016-2019