代码写了这么久,期间也碰到了各种各样的问题,解决方法都记录在了我的博客里面。这里面记录一下自己开发的思路和方法。
现在项目在原来的基础上又增加了以下功能:
1、创建了线程池,支持多个客户机的访问
2、可以保存捕捉到的视频和图片,并存储在当前路径上
注意:
如果要运行这个代码需要安装ffmpeg
为了开发方便,目前安装的是ffmpeg for X86,接下来需要运行在开发板上,所以需要在PC机上和开发板上都需要安装ffmpeg。PC机上需要安装时因为调用arm-linux-gcc的时候需要用到这些库(注意要安装在arm-linux-gcc编译器对应的库下面),开发板上安装时因为代码运行时也需要用到这些库。具体的安装方法网上有很多。
在使用ffmpeg的时候如果有一些问题,可以参考这个博客http://blog.csdn.net/leixiaohua1020/article/details/15811977/
线程池
现在对于客户机服务器模型的项目,加入线程池技术好像都是必需的,线程池的原理和方法可以参考我的博客:http://blog.csdn.net/u013181595/article/details/73771259
创建线程池后,需要拿出一个线程来执行视频和图片的编码工作,这个工作在初始化之后完成。在线程池里面,只需要把摄像头的设备文件加入到Epoll池中,等待摄像头一帧数据的完成之后调用处理函数即可,同时在线程退出时释放相关内存,这段代码如下:
/*摄像头线程的运行程序
*参数为摄像头子系统的结构
*/
void cam_process(void *arg)
{
struct cam *c = arg;
struct epoll_event events[10];
int fds;
int i;
struct event_ext *e;
uint32_t event;
//往Epoll池中加入事件
c->v4_dev->ev = epoll_event_create(c->v4_dev->fd, EPOLLIN, cam_handler, c->v4_dev);
epoll_add_event(c->epfd, c->v4_dev->ev);
//等待事件发生并处理
while(1)
{
fds = epoll_wait(c->epfd, events, 10, 1000);
for(i=0; i<fds; i++)
{
event = events[i].events;
e = events[i].data.ptr;
if((event & EPOLLIN) && (e->events & EPOLLIN))
{
e->handler(e->fd, e->arg);
}
if((event & EPOLLOUT) && (e->events & EPOLLOUT))
{
e->handler(e->fd, e->arg);
}
if((event & EPOLLERR) && (e->events & EPOLLERR))
{
e->handler(e->fd, e->arg);
}
}
}
//写视频文件尾
av_write_trailer(c->video->pFormatCtxEnc);
if (!(c->video->pFormatCtxEnc->flags & AVFMT_NOFILE))
avio_close(c->video->pFormatCtxEnc->pb);
pthread_rwlock_destroy(&(c->rwlock));
//释放内存
free(c);
}
同样,当连接到一个新的客户机的时候,就拿出一个线程用来处理这个连接,服务器的连接在主函数里面进行,主函数负责系统的初始化以及线程池任务的分配,主函数代码如下:
int main()
{
struct sockaddr_in sin;
int new_sock;
int len=0;
srv_main = calloc(1,sizeof(struct server));
//初始化线程池
srv_main->pool = pool_init(10);
//初始化摄像头子系统
srv_main->cam = cam_sys_init();
// //初始化网络子系统
srv_main->srv = net_sys_init();
//添加摄像头的任务
pool_add_task (cam_process, srv_main->cam);
while(1)
{
//等待客户机连接
if(( srv_main->srv->new_sock = accept(srv_main->sock, (struct sockaddr*)&sin, &len)) == -1)
{
perror("accept:");
_exit(0);
}
//给线程池添加任务
pool_add_task(net_process,srv_main->srv);
}
//关闭线程池
pool_destroy();
//关闭sock
close(srv_main->srv->sock);
//释放申请到的内存
free(srv_main);
return -1;
}
当由一个客户机连接的时候调用net_process函数,这个函数需要执行的任务和摄像头线程的任务差不多,也是把设备文件加入到Epoll池中,然后等待事件发生后调用相应的处理函数,这里有2个Epoll,一个是摄像头的Epoll池、另一个是网络的Epoll池。net_proess的代码如下:
void net_process(void *arg)
{
//保存sock
struct epoll_event events[10];
int fds;
int i;
struct event_ext *e;
uint32_t event;
struct tcp_srv *s = arg;
//申请并初始化一个sock结构
struct tcp_cli *c = calloc(1, sizeof(struct tcp_cli));
c->sock = s->new_sock;
c->srv = srv_main->srv;
//将传输子系统的事件加入Epoll池,tcp_cli作为事件的参数
c->ev_rx = epoll_event_create(c->sock, EPOLLIN, rx_app_handler, c);
c->ev_tx = epoll_event_create(c->sock, EPOLLOUT, tx_app_handler, c);
//先加入rx的事件
epoll_add_event(c->srv->epfd, c->ev_rx);
//等待事件的发生,注意修改图片获取代码
while(1)
{
fds = epoll_wait(c->srv->epfd, events, 10, 1000);
for(i=0; i<fds; i++)
{
event = events[i].events;
e = events[i].data.ptr;
if((event & EPOLLIN) && (e->events & EPOLLIN))
{
e->handler(e->fd, e->arg);
}
if((event & EPOLLOUT) && (e->events & EPOLLOUT))
{
e->handler(e->fd, e->arg);
}
if((event & EPOLLERR) && (e->events & EPOLLERR))
{
e->handler(e->fd, e->arg);
}
}
}
//关闭sock
close(c->sock);
}
图片的读写
在这个过程中,摄像头线程会一直往图片里面写入数据,而网络线程则负责读取这幅图片并发送到网络上。因此涉及到了读写操作,肯定需要使用线程同步技术,不然的话网络线程读取到数据可能会不完整。索性的是在Linux下有一个非常管用的工具,叫做读写锁(rwlock)。可以非常好的完成读写的同步,同时还提供阻塞和非阻塞的加锁机制。具体可以参考我的博客:http://blog.csdn.net/u013181595/article/details/77618361
源代码
对于这次完善,只对服务器代码进行了修改,对于播放器则没有修改,这次代码运行在Linux的PC机上,源代码已经提交到了GitHub上:
https://github.com/dayL-W/Video-capture-system
碰到的问题
这次完善当然也碰到了很多问题,比如说:
段错误:可能是空指针的使用、数组的越界等等,采用2分的方法,调试出那条语句发生了段错误
客户机连接不上:主要是服务器和客户机的端口对应不上,或者服务器的sock初始化失败等等,还有可能是accept和connect的参数有问题
编码图片的时候提示:"Application provided invalid, non monotonically increasing dts to muxer in stream %d: %s >= %s\n"。意思是说应用程序无效,非单调递增的流什么的,这个问题出现在av_write_frame()里面,这里面会判断一个帧的什么东西,我们只需要改变变量使这个判断不成立即可:jpg_video_st->cur_dts = 0;
当然还有其他一些小问题,相信大家都能够解决,这里不再举例的。
性能测试
性能测试的指标主要要服务器的压力大小,以及客户机的帧率,由于目前还不知道怎么测试服务器的压力,先不管了。
对于帧率,当只有一个客户机连接的时候帧率可以达到60多帧左右,2个客户机连接时只有20多帧,3个客户机连接时只有8帧。显然这个性能下降的是十分快的,原因也显而易见。因为存在存在图片读写同步互斥的问题。这个问题需要优化。
后续移植
服务器代码目前还是运行在Linux的PC机上的,接下来需要移植到树莓派中。具体方法将在后面的博客写到。