上周完成了屏幕录制的程序,实时抓屏、录音,视频采用H.264压缩,音频采用AAC压缩,复用为MP4格式,这样可以在电脑和ios和安卓的移动设备上直接播放。支持HTML5的播放器都可以放,这是标准格式的好处。抓屏也增加了自动缩放的功能,参考我的上一篇博客。把这几部分的思路都整理一下。
抓屏,方法很多,直接用bitblt、使用directx、使用mirrordriver、甚至还有用mediaencoder的,我比较了bitblt和directx的方法,也查了很多资料。直觉的理解应该是directx的速度会快一些,但是事实上由于win7系统对bitblt进行了处理,速度与directx抓屏不相上下,代码也简洁很多很多,几行代码就解决,在我的thinkpad T410每秒轻轻松松抓屏100多帧,CPU占用也不高。在有些显卡比较差的机器上,性能会急剧下降,但是这种情况下directx也好不到哪去。单纯从抓屏来说,用bitblt足够了。mediaencoder就算了,太麻烦,还得安装一堆东西。mirrordriver没去仔细看,似乎是用这个驱动可以从镜像里面直接获得变化的屏幕数据,这和我的需求不同,我是需要抓整屏,而不是只要变化的部分。如果不是抓屏,而是做屏幕的远程控制,那可以参考vnc、TightVNC、ReallVNC这些开源的代码,都做得相当好,机制不同。我希望是用标准的格式去压缩整个屏幕的,这点VNC的小伙伴们采用的机制无法实现。
抓屏代码:
BitBlt(hMemDC, 0, 0, width, height, hScreenDC, 0, 0, SRCCOPY);
GetDIBits(hMemDC, bmp, 0, height, bmpBuffer, &bminfo, DIB_RGB_COLORS);
抓屏以后,RGB32位的数据要转换为YUV,这个代码如果直接用浮点运算实现,那效率相当低。我用的是xvid里面的一段汇编代码,使用了MMX指令,速度很快。大家可以去参考xvid的代码。话说xvid好几年没更新代码,最近又开始更新了,好奇怪。。。以前做mpeg4的时候,感觉xvid太牛了,编码效率极高,现在被x264取代了。。。扯远了,看看RGB2YUV的代码:
;/**************************************************************************
; *
; * mmx colorspace conversions
; *
; *************************************************************************/
bits 32
section .data
%macro cglobal 1
%ifdef PREFIX
global _%1
%define %1 _%1
%else
global %1
%endif
%endmacro
align 16
;===========================================================================
; yuv constants
;===========================================================================
%define Y_R 0.257
%define Y_G 0.504
%define Y_B 0.098
%define Y_ADD 16
%define U_R 0.148
%define U_G 0.291
%define U_B 0.439
%define U_ADD 128
%define V_R 0.439
%define V_G 0.368
%define V_B 0.071
%define V_ADD 128
;===========================================================================
; multiplication matrices
;===========================================================================
; %define SCALEBITS 8
y_mul dw 25 ; FIX(Y_B)
dw 129 ; FIX(Y_G)
dw 66 ; FIX(Y_R)
dw 0
u_mul dw 112 ; FIX(U_B)
dw -74 ; FIX(U_G)
dw -38 ; FIX(U_R)
dw 0
v_mul dw -18 ; FIX(V_B)
dw -94 ; FIX(V_G)
dw 112 ; FIX(V_R)
dw 0
section .text
;===========================================================================
;
; void rgb24_to_yv12_mmx(uint8_t * const y_out,
; uint8_t * const u_out,
; uint8_t * const v_out,
; const uint8_t * const src,
; const uint32_t width,
; const uint32_t height,
; const uint32_t stride)
;
; always flips
;
;===========================================================================
align 16
cglobal rgb24_to_yv12_mmx
rgb24_to_yv12_mmx
push ebx
push ecx
push esi
push edi
push ebp ; STACK BASE = 20
; global consants
mov eax, [esp + 20 + 28] ; stride
mov ecx, [esp + 20 + 20] ; width
mov ebx, eax
sub ebx, ecx
shr ebx, 1 ; ebx = (stride-width) / 2;
push ebx ; [esp + 20] = uv_dif
; STACK BASE = 24
add eax, eax
sub eax, ecx ; eax = 2*stride - width
push eax ; [esp + 16] = y_dif
; STACK BASE = 28
mov ebx, ecx ;
shr ebx, 1 ;
push ebx ; [esp + 12] = width/2
; STACK BASE = 32
mov edx, ecx
add ecx, edx
add ecx, edx ; ecx = 3*width (use 4 for rgb32)
push ecx ; [esp + 8] = width3
; STACK BASE = 36
mov edx, ecx
add edx, ecx
add edx, ecx ; edx = 3*width3
push edx ; [esp + 4] = src_dif
; STACK BASE = 40
mov esi, [esp + 40 + 16] ; src
mov ebp, [esp + 40 + 24] ; eax = height
mov eax, ebp
sub eax, 2
mul ecx
add esi, eax ; src += (height-2) * width3
mov edi, [esp + 40 + 4] ; y_out
mov ecx, [esp + 40 + 8] ; u_out
mov edx, [esp + 40 + 12] ; v_out
movq mm7, [y_mul]
shr ebp, 1 ; ebp = height / 2
push ebp ; [esp+0] = tmp
; STACK BASE = 44
.yloop
mov ebp, [esp + 12] ; ebp = width /2
.xloop
; y_out
mov ebx, [esp + 8] ; ebx = width3
pxor mm4, mm4
pxor mm5, mm5
movd mm0, [esi] ; src[0...]
movd mm2, [esi+ebx] ; src[width3...]
punpcklbw mm0, mm4 ; [ |b |g |r ]
punpcklbw mm2, mm5 ; [ |b |g |r ]
movq mm6, mm0 ; = [ |b4|g4|r4]
paddw mm6, mm2 ; +[ |b4|g4|r4]
pmaddwd mm0, mm7 ; *= Y_MUL
pmaddwd mm2, mm7 ; *= Y_MUL
movq mm4, mm0 ; [r]
movq mm5, mm2 ; [r]
psrlq mm4, 32 ; +[g]
psrlq mm5, 32 ; +[g]
paddd mm0, mm4 ; +[b]
paddd mm2, mm5 ; +[b]
pxor mm4, mm4
pxor mm5, mm5
movd mm1, [esi+3] ; src[4...]
movd mm3, [esi+ebx+3] ; src[width3+4...]
punpcklbw mm1, mm4 ; [ |b |g |r ]
punpcklbw mm3, mm5 ; [ |b |g |r ]
paddw mm6, mm1 ; +[ |b4|g4|r4]
paddw mm6, mm3 ; +[ |b4|g4|r4]
pmaddwd mm1, mm7 ; *= Y_MUL
pmaddwd mm3, mm7 ; *= Y_MUL
movq mm4, mm1 ; [r]
movq mm5, mm3 ; [r]
psrlq mm4, 32 ; +[g]
psrlq mm5, 32 ; +[g]
paddd mm1, mm4 ; +[b]
paddd mm3, mm5 ; +[b]
mov ebx, [esp + 44 + 28] ; stride
movd eax, mm0
shr eax, 8
add eax, Y_ADD
mov [edi + ebx], al
movd eax, mm1
shr eax, 8
add eax, Y_ADD
mov [edi + ebx + 1], al
movd eax, mm2
shr eax, 8
add eax, Y_ADD
mov [edi], al
movd eax, mm3
shr eax, 8
add eax, Y_ADD
mov [edi + 1], al
; u_out, v_out
movq mm0, mm6 ; = [ |b4|g4|r4]
pmaddwd mm6, [v_mul] ; *= V_MUL
pmaddwd mm0, [u_mul] ; *= U_MUL
movq mm1, mm0
movq mm2, mm6
psrlq mm1, 32
psrlq mm2, 32
paddd mm0, mm1
paddd mm2, mm6
movd eax, mm0
shr eax, 10
add eax, U_ADD
mov [ecx], al
movd eax, mm2
shr eax, 10
add eax, V_ADD
mov [edx], al
add esi, 2 * 3 ; (use 4 for rgb32)
add edi, 2
inc ecx
inc edx
dec ebp
jnz near .xloop
sub esi, [esp + 4] ; src -= src_dif
add edi, [esp + 16] ; y_out += y_dif
add ecx, [esp + 20] ; u_out += uv_dif
add edx, [esp + 20] ; v_out += uv_dif
dec dword [esp+0]
jnz near .yloop
emms
add esp, 24
pop ebp
pop edi
pop esi
pop ecx
pop ebx
ret
;===========================================================================
;
; void rgb32_to_yv12mmx(uint8_t * const y_out,
; uint8_t * const u_out,
; uint8_t * const v_out,
; const uint8_t * const src,
; const uint32_t width,
; const uint32_t height,
; const uint32_t stride)
;
; always flips
;
;===========================================================================
align 16
cglobal rgb32_to_yv12_mmx
rgb32_to_yv12_mmx
push ebx
push ecx
push esi
push edi
push ebp ; STACK BASE = 20
; global consants
mov eax, [esp + 20 + 28] ; stride
mov ecx, [esp + 20 + 20] ; width
mov ebx, eax
sub ebx, ecx
shr ebx, 1 ; ebx = (stride-width) / 2;
push ebx ; [esp + 20] = uv_dif
; STACK BASE = 24
add eax, eax
sub eax, ecx ; eax = 2*stride - width
push eax ; [esp + 16] = y_dif
; STACK BASE = 28
mov ebx, ecx ;
shr ebx, 1 ;
push ebx ; [esp + 12] = width/2
; STACK BASE = 32
mov edx, ecx
shl ecx, 2 ; ecx = 4*width (use 4 for rgb32)
push ecx ; [esp + 8] = width4
; STACK BASE = 36
mov edx, ecx
add edx, ecx
add edx, ecx ; edx = 3*width4
push edx ; [esp + 4] = src_dif
; STACK BASE = 40
mov esi, [esp + 40 + 16] ; src
mov ebp, [esp + 40 + 24] ; eax = height
mov eax, ebp
sub eax, 2
mul ecx
add esi, eax ; src += (height-2) * width4
mov edi, [esp + 40 + 4] ; y_out
mov ecx, [esp + 40 + 8] ; u_out
mov edx, [esp + 40 + 12] ; v_out
movq mm7, [y_mul]
shr ebp, 1 ; ebp = height / 2
push ebp ; [esp+0] = tmp
; STACK BASE = 44
.yloop
mov ebp, [esp + 12] ; ebp = width /2
.xloop
; y_out
mov ebx, [esp + 8] ; ebx = width4
pxor mm4, mm4
movq mm0, [esi] ; src[4... |0... ]
movq mm2, [esi+ebx] ; src[width4+4...|width4...]
movq mm1, mm0
movq mm3, mm2
punpcklbw mm0, mm4 ; [ |b |g |r ]
punpcklbw mm2, mm4 ; [ |b |g |r ]
punpckhbw mm1, mm4 ; [ |b |g |r ]
punpckhbw mm3, mm4 ; [ |b |g |r ]
movq mm6, mm0 ; = [ |b4|g4|r4]
paddw mm6, mm2 ; +[ |b4|g4|r4]
pmaddwd mm0, mm7 ; *= Y_MUL
pmaddwd mm2, mm7 ; *= Y_MUL
movq mm4, mm0 ; [r]
movq mm5, mm2 ; [r]
psrlq mm4, 32 ; +[g]
psrlq mm5, 32 ; +[g]
paddd mm0, mm4 ; +[b]
paddd mm2, mm5 ; +[b]
paddw mm6, mm1 ; +[ |b4|g4|r4]
paddw mm6, mm3 ; +[ |b4|g4|r4]
pmaddwd mm1, mm7 ; *= Y_MUL
pmaddwd mm3, mm7 ; *= Y_MUL
movq mm4, mm1 ; [r]
movq mm5, mm3 ; [r]
psrlq mm4, 32 ; +[g]
psrlq mm5, 32 ; +[g]
paddd mm1, mm4 ; +[b]
paddd mm3, mm5 ; +[b]
mov ebx, [esp + 44 + 28] ; stride
movd eax, mm0
shr eax, 8
add eax, Y_ADD
mov [edi + ebx], al
movd eax, mm1
shr eax, 8
add eax, Y_ADD
mov [edi + ebx + 1], al
movd eax, mm2
shr eax, 8
add eax, Y_ADD
mov [edi], al
movd eax, mm3
shr eax, 8
add eax, Y_ADD
mov [edi + 1], al
; u_out, v_out
movq mm0, mm6 ; = [ |b4|g4|r4]
pmaddwd mm6, [v_mul] ; *= V_MUL
pmaddwd mm0, [u_mul] ; *= U_MUL
movq mm1, mm0
movq mm2, mm6
psrlq mm1, 32
psrlq mm2, 32
paddd mm0, mm1
paddd mm2, mm6
movd eax, mm0
shr eax, 10
add eax, U_ADD
mov [ecx], al
movd eax, mm2
shr eax, 10
add eax, V_ADD
mov [edx], al
add esi, 2 * 4 ; (use 4 for rgb32)
add edi, 2
inc ecx
inc edx
dec ebp
jnz near .xloop
sub esi, [esp + 4] ; src -= src_dif
add edi, [esp + 16] ; y_out += y_dif
add ecx, [esp + 20] ; u_out += uv_dif
add edx, [esp + 20] ; v_out += uv_dif
dec dword [esp+0]
jnz near .yloop
emms
add esp, 24
pop ebp
pop edi
pop esi
pop ecx
pop ebx
ret
转换为YUV数据以后,就是压缩了。用H.264,基本上都是x264了,开源的代码,现在速度也挺快,交叉编译生成DLL直接调用就行。这里参数设置很重要,帧率我做的是每分钟1帧到25x60帧可调,注意是每分钟不是秒。x264大家都很熟悉,不多说了。
音频部分比较简单了,设定采样率,用acm采集,然后aac压缩。AAC也有开源的LibFAAC代码可以使用。
264文件和AAC文件生成以后,复用的方法有很多,简单起见,可以用ffmpeg或其他的软件进行复用,注意别让ffmpeg进行二次编码压缩,否则速度慢而且质量损失。
完成的程序,测了一下,1920x1980的分辨率,自动缩放为1280x720,每秒1帧,录制10分钟的mp4文件大概是4M多,画面清晰,声音清晰,达到预期目标了。接下来的工作是实时直播了。考虑到兼容性和流媒体的特点,使用rtmp协议,而没有用rtsp。用rtmp的优点就是接收端用flash可以播放,不需要安装其他插件了。
rtmp协议是不开放的,但是也难不倒我们,librtmp是开源的,做的很好。但是移植到windows平台编译还是费了一些周折。要注意的几点:
1、在c/c++预处理器加上NO_CRYPTO,不编ssl部分,不需要加密
2、rtmp.c文件里面,注释掉几行代码
//#ifdef _DEBUG
//extern FILE *netstackdump;
//extern FILE *netstackdump_read;
//#endif
//#ifdef _DEBUG
// fwrite(ptr, 1, nBytes, netstackdump_read);
//#endif
//#ifdef _DEBUG
// fwrite(buf, 1, len, netstackdump);
//#endif
3、编译时需要链接ws2_32.lib库
编译以后,生成dll,在主程序里面调用,基本的初始化代码:
/*分配与初始化*/
rtmp = RTMP_Alloc();
RTMP_Init(rtmp);
/*设置URL*/
if (RTMP_SetupURL(rtmp,rtmp_url) == FALSE) {
log(LOG_ERR,"RTMP_SetupURL() failed!");
RTMP_Free(rtmp);
return -1;
}
/*设置可写,即发布流,这个函数必须在连接前使用,否则无效*/
RTMP_EnableWrite(rtmp);
/*连接服务器*/
if (RTMP_Connect(rtmp, NULL) == FALSE) {
log(LOG_ERR,"RTMP_Connect() failed!");
RTMP_Free(rtmp);
return -1;
}
/*连接流*/
if (RTMP_ConnectStream(rtmp,0) == FALSE) {
log(LOG_ERR,"RTMP_ConnectStream() failed!");
RTMP_Close(rtmp);
RTMP_Free(rtmp);
return -1;
}
然后在x264_encocer_encode编码一帧以后,调用rtmp的函数进行发送。
size = x264_encoder_encode(cx->hd,&nal,&n,pic,&pout);
int i,last;
for (i = 0,last = 0;i < n;i++) {
if (nal[i].i_type == NAL_SPS) {
sps_len = nal[i].i_payload-4;
memcpy(sps,nal[i].p_payload+4,sps_len);
} else if (nal[i].i_type == NAL_PPS) {
pps_len = nal[i].i_payload-4;
memcpy(pps,nal[i].p_payload+4,pps_len);
/*发送sps pps*/
send_video_sps_pps();
} else {
/*发送普通帧(剩下全部)*/
send_rtmp_video(nal[i].p_payload,size-last)
break;
}
last += nal[i].i_payload;
}
发送的代码就不贴了,就是填充rtmp packet的内容。调试的时候发现创建socket失败,折腾半天最后发现是没有调用WSAStartup,低级错误。。。发送的数据流,用Flex air写了个接收程序,也有问题,air3.1可以正常接收,air3.9就不行。好吧。。。今天继续看代码吧,找找原因。音频的发送程序类似,有空再加。
这个程序将会是我们即将发布的轻录播的一部分,这几天把其他代码完成考虑把程序共享出来。欢迎大家拍砖。