基于OpenCV 的美颜相机推送直播流

程序流程：

1.图像采集

先从OpenCV（2.4.10版本）采集回来摄像头的图像，是一帧一帧的
每一帧图像是一个矩阵，opencv中的mat 数据结构。

 

2.人脸的美化
人脸美化，我们用的皮肤检测，皮肤在颜色空间是特定的一个区域
检测到这个区域（感兴趣区域），完后对这个区域进行美化，就是滤波，主要是双边滤波和高斯滤波。

 

3.视频格式转换以及编码

处理好的矩阵颜色空间是rgb的，需要转换成yuv，yuv的颜色空间就是可以播放的，类似我们电视上面看的画面，编码就是传输时候需要发送流，只个流相当于针对数据的压缩，将yuv格式的视频帧编码成h264的格式

Rgb转换成yuv，opencv实现（美颜在这一步实现）

Yuv转换成h264，x264实现

H264转换成rtmp流，libxrtmp实现

4.发送给服务器进行直播

H264的流一般就可以播放了，但是针对目前的网络直播主要是将h264转换成rtmp流，用rtmp的服务器进行播放，这块我们主要用的是adobe media server 5这个服务器进行接受工作

 

5.技术难点

1.将人脸美化转换为皮肤检测

2.各种编码的转换

3.缓冲区的控制，这块是一个读者写着模型

实现效果：

 

 

部分代码：

[cpp]  view plain  copy

 print ?

1. #include "stdafx.h"  
2. #include "live_beautiful_camera_streaming.h"  
3. #include "CircleBuffer.h"  
4.   
5. using namespace std;  
6. using namespace cv;  
7. #define  GOLABLE_BUFFER_SIZE 1024*64  
8.   
9.   
10.   
11. CPs_CircleBuffer* m_pCircleBuffer;  
12.   
13.   
14. void CameraToH264(void *pcn)   
15. {  
16.   
17.     CvCapture* capture;  
18.     //VideoCapture capture;  
19.     Mat frame;  
20.   
21.     //-- 1. Load the cascades  
22.     if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error loading\n"); return ; };  
23.     //if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; };  
24.   
25.     VideoCapture cap(0); //打开默认的摄像头号  
26.     if(!cap.isOpened())  //检测是否打开成功  
27.         return ;  
28.   
29.     int w = cap.get(CV_CAP_PROP_FRAME_WIDTH);  
30.     int h = cap.get(CV_CAP_PROP_FRAME_HEIGHT);  
31.   
32.     int yuv_bufLen = w*h*3/2;  
33.     unsigned char* pYuvBuf = new unsigned char[yuv_bufLen];  
34.   
35.     int index = 0;///  
36.   
37.     for(;;)  
38.     {  
39.         Mat frame;  
40.         cap >> frame; // 从摄像头中获取新的一帧  
41.         //detectAndDisplay( frame );  
42.         imshow("original image", frame);  
43.         //按esc推出  
44.         if(waitKey(40) == 27) break;  
45.         //detectAndenhance(frame);  
46.         //imshow("enhance image",equalizeIntensityHist(frame));  
47.         Mat temp;  
48.         //SkinRGB(&IplImage(frame),&IplImage(temp));  
49.         //highlight(frame);  
50.         MySkinEnhance(frame);  
51.       
52.   
53.         /  
54.         cv::Mat yuvImg;  
55.         cv::cvtColor(frame, yuvImg, CV_BGR2YUV_I420);  
56.         memcpy(pYuvBuf, yuvImg.data, yuv_bufLen*sizeof(unsigned char));  
57.         MyOneFrameYuvtoH264(w,h,(char *)pYuvBuf);  
58.       
59.     }  
60.     //摄像头会在VideoCapture的析构函数中释放  
61.     waitKey(0);  
62.   
63.     delete[] pYuvBuf;  
64. }  
65.   
66. void H264ToRtmp(void *pcn)   
67. {  
68.     Sleep(3000);  
69.     My_SendH264To_Rtmp();  
70.       
71. }  
72.   
73.   
74. /** 
75. * @function main 
76. */  
77. int main( void )  
78. {  
79.     m_pCircleBuffer = new CPs_CircleBuffer(GOLABLE_BUFFER_SIZE);  
80.       
81.     HANDLE h_cameraToh264;  
82.     h_cameraToh264 = (HANDLE)_beginthread((void(__cdecl *)(void *))CameraToH264,0,(void *)1);  
83.       
84.       
85.   
86.     HANDLE h_h264ToRtmp;  
87.     h_h264ToRtmp = (HANDLE)_beginthread((void(__cdecl *)(void *))H264ToRtmp,0,(void *)1);  
88.   
89.   
90.     WaitForSingleObject(h_cameraToh264,INFINITE);  
91.     WaitForSingleObject(h_h264ToRtmp,INFINITE);  
92.       
93.   
94.        Sleep(100);  
95.     return 0;  
96. }  

---------------------------------后续更新，20160506-------------------------------------------------------------------------------------------------------

该程序的性能跟美颜处理的算法效果息息相关，最近发现了一个联合双边滤波器，有时间 的话集成上去效果应该不错，下面是介绍：

 这十年来，在图像处理领域提出了很多新的图像分析和处理方法，包括是自动的以及一些需要有人工参与的，典型的比如stereo depth computations、image colorization、tone mapping of high dynamic range (HDR) images、 graph cuts ，这些算法都有着比较好的效果，但都普遍存在一个问题：就是计算量特别大，很难满足用户的需求。而数字图像在尺寸大小上的增长速度这段时间也相当惊人。还有个问题就是有些算法需要解一个很大的稀疏矩阵方程，可能会大到系统的无法为接其过程分配足够的内存。因此，如果解决这两个问题，一个直观而又简单的想法就是：先处理原图下采样的小图，然后将处理后的结果在上采样。

      但是，如此处理存在的问题就是上采样算法会直接影响到处理效果。如果是纯粹的最近邻插值、或者是双线性，抑或是三次立方等复杂点插值算法，都会使人感到效果失真。但是在这种情况下的我们实际上比简单的图像放大时多了一个信息的，就是我有原始的未做处理的并且未缩小的图像的信息，是否能利用这个信息来增强上采样的效果呢?目前我看到了两种这方面的算法。

      一种就是联合双边滤波 ：http://www.cnblogs.com/Imageshop/p/3677313.html

参考文献：

 

Adobe Flash Media Server 5.0.3 官方中文版：（下载地址和说明）

http://www.launchdigital.NET/supportview.asp?bid=98&Sid=124&id=594

http://www.xdowns.com/soft/1/71/2014/Soft_116532.html

 

 

关于美颜 摄像头功能的部分说明：

http://blog.csdn.net/wangyaninglm/article/details/50806051

 

yuv格式编码为h264：

http://blog.csdn.net/leixiaohua1020/article/details/42078645

 

h264发送rtmp流：

http://www.cnblogs.com/haibindev/archive/2012/04/16/2450989.html

http://blog.csdn.net/leixiaohua1020/article/details/42105049

 

Adobe Flash Media Server 5.0.3 官方中文版：（下载地址和说明）

http://www.launchdigital.net/supportview.asp?bid=98&Sid=124&id=594

http://www.xdowns.com/soft/1/71/2014/Soft_116532.html

 

 

关于美颜 摄像头功能的部分说明：

http://blog.csdn.net/wangyaninglm/article/details/50806051

 

yuv格式编码为h264：

http://blog.csdn.net/leixiaohua1020/article/details/42078645

 

h264发送rtmp流：

http://www.cnblogs.com/haibindev/archive/2012/04/16/2450989.html

http://blog.csdn.net/leixiaohua1020/article/details/42105049

 

环形缓冲区实现：http://blog.csdn.net/lezhiyong/article/details/7879558

完整代码下载：http://download.csdn.net/detail/wangyaninglm/9480783

github地址：https://github.com/wynshiter/live_beautiful_camera_streaming