Linux-视频监控系统(11)-监控系统初步完善

代码写了这么久，期间也碰到了各种各样的问题，解决方法都记录在了我的博客里面。这里面记录一下自己开发的思路和方法。

现在项目在原来的基础上又增加了以下功能：

1、创建了线程池，支持多个客户机的访问

2、可以保存捕捉到的视频和图片，并存储在当前路径上

 

注意：

如果要运行这个代码需要安装ffmpeg

为了开发方便，目前安装的是ffmpeg for X86，接下来需要运行在开发板上，所以需要在PC机上和开发板上都需要安装ffmpeg。PC机上需要安装时因为调用arm-linux-gcc的时候需要用到这些库（注意要安装在arm-linux-gcc编译器对应的库下面），开发板上安装时因为代码运行时也需要用到这些库。具体的安装方法网上有很多。

 

在使用ffmpeg的时候如果有一些问题，可以参考这个博客http://blog.csdn.net/leixiaohua1020/article/details/15811977/

 

线程池

现在对于客户机服务器模型的项目，加入线程池技术好像都是必需的，线程池的原理和方法可以参考我的博客：http://blog.csdn.net/u013181595/article/details/73771259

 

创建线程池后，需要拿出一个线程来执行视频和图片的编码工作，这个工作在初始化之后完成。在线程池里面，只需要把摄像头的设备文件加入到Epoll池中，等待摄像头一帧数据的完成之后调用处理函数即可，同时在线程退出时释放相关内存，这段代码如下：

/*摄像头线程的运行程序
*参数为摄像头子系统的结构
*/
void cam_process(void *arg)
{
	struct cam *c = arg;
	struct epoll_event events[10];	
	int fds;
	int i;
	struct event_ext *e;
	uint32_t event;

	//往Epoll池中加入事件
	c->v4_dev->ev = epoll_event_create(c->v4_dev->fd, EPOLLIN, cam_handler, c->v4_dev);
	epoll_add_event(c->epfd, c->v4_dev->ev);

	//等待事件发生并处理
	while(1)
	{
		fds = epoll_wait(c->epfd, events, 10, 1000);
		for(i=0; i<fds; i++)
		{
			event = events[i].events;
			e = events[i].data.ptr;

			if((event & EPOLLIN) && (e->events & EPOLLIN))
			{
				e->handler(e->fd, e->arg);
			}
			if((event & EPOLLOUT) && (e->events & EPOLLOUT))
			{
				e->handler(e->fd, e->arg);
			}
			if((event & EPOLLERR) && (e->events & EPOLLERR))
			{
				e->handler(e->fd, e->arg);
			}
		}
	}
	//写视频文件尾
	av_write_trailer(c->video->pFormatCtxEnc);	
	if (!(c->video->pFormatCtxEnc->flags & AVFMT_NOFILE))
		avio_close(c->video->pFormatCtxEnc->pb);

 	pthread_rwlock_destroy(&(c->rwlock));
	//释放内存
	free(c);

}

同样，当连接到一个新的客户机的时候，就拿出一个线程用来处理这个连接，服务器的连接在主函数里面进行，主函数负责系统的初始化以及线程池任务的分配，主函数代码如下：

int main()
{
	struct sockaddr_in sin;
	int new_sock;
	int len=0;

	srv_main = calloc(1,sizeof(struct server));

	//初始化线程池
	srv_main->pool = pool_init(10);
	//初始化摄像头子系统
	srv_main->cam = cam_sys_init();
	// //初始化网络子系统
	srv_main->srv = net_sys_init();

	//添加摄像头的任务
	pool_add_task (cam_process, srv_main->cam); 

	while(1)
	{
		//等待客户机连接
		if(( srv_main->srv->new_sock = accept(srv_main->sock, (struct sockaddr*)&sin, &len)) == -1)
		{
			perror("accept:");	
			_exit(0);
		}
		//给线程池添加任务
		pool_add_task(net_process,srv_main->srv);
	}
	//关闭线程池
	pool_destroy();
	//关闭sock
	close(srv_main->srv->sock);
	//释放申请到的内存
	free(srv_main);

	return -1;
}

当由一个客户机连接的时候调用net_process函数，这个函数需要执行的任务和摄像头线程的任务差不多，也是把设备文件加入到Epoll池中，然后等待事件发生后调用相应的处理函数，这里有2个Epoll，一个是摄像头的Epoll池、另一个是网络的Epoll池。net_proess的代码如下：

 

 

 

void net_process(void *arg)
{
	//保存sock

	struct epoll_event events[10];	
	int fds;
	int i;
	struct event_ext *e;
	uint32_t event;

	struct tcp_srv *s = arg;

	//申请并初始化一个sock结构
	struct tcp_cli *c = calloc(1, sizeof(struct tcp_cli));

	c->sock = s->new_sock;
	c->srv = srv_main->srv;
	//将传输子系统的事件加入Epoll池,tcp_cli作为事件的参数
	c->ev_rx = epoll_event_create(c->sock, EPOLLIN, rx_app_handler, c);
	c->ev_tx = epoll_event_create(c->sock, EPOLLOUT, tx_app_handler, c);

	//先加入rx的事件
	epoll_add_event(c->srv->epfd, c->ev_rx);

	//等待事件的发生，注意修改图片获取代码
	while(1)
	{
		fds = epoll_wait(c->srv->epfd, events, 10, 1000);
		for(i=0; i<fds; i++)
		{
			event = events[i].events;
			e = events[i].data.ptr;

			if((event & EPOLLIN) && (e->events & EPOLLIN))
			{
				e->handler(e->fd, e->arg);
			}
			if((event & EPOLLOUT) && (e->events & EPOLLOUT))
			{
				e->handler(e->fd, e->arg);
			}
			if((event & EPOLLERR) && (e->events & EPOLLERR))
			{
				e->handler(e->fd, e->arg);
			}
		}
	}

	//关闭sock
	close(c->sock);
}

 

图片的读写

在这个过程中，摄像头线程会一直往图片里面写入数据，而网络线程则负责读取这幅图片并发送到网络上。因此涉及到了读写操作，肯定需要使用线程同步技术，不然的话网络线程读取到数据可能会不完整。索性的是在Linux下有一个非常管用的工具，叫做读写锁（rwlock）。可以非常好的完成读写的同步，同时还提供阻塞和非阻塞的加锁机制。具体可以参考我的博客：http://blog.csdn.net/u013181595/article/details/77618361

 

源代码

对于这次完善，只对服务器代码进行了修改，对于播放器则没有修改，这次代码运行在Linux的PC机上，源代码已经提交到了GitHub上：

https://github.com/dayL-W/Video-capture-system

 

 

碰到的问题

这次完善当然也碰到了很多问题，比如说：

 

段错误：可能是空指针的使用、数组的越界等等，采用2分的方法，调试出那条语句发生了段错误

 

客户机连接不上：主要是服务器和客户机的端口对应不上，或者服务器的sock初始化失败等等，还有可能是accept和connect的参数有问题

 

编码图片的时候提示："Application provided invalid, non monotonically increasing dts to muxer in stream %d: %s >= %s\n"。意思是说应用程序无效，非单调递增的流什么的，这个问题出现在av_write_frame()里面，这里面会判断一个帧的什么东西，我们只需要改变变量使这个判断不成立即可：jpg_video_st->cur_dts = 0;

 

当然还有其他一些小问题，相信大家都能够解决，这里不再举例的。

 

性能测试

性能测试的指标主要要服务器的压力大小，以及客户机的帧率，由于目前还不知道怎么测试服务器的压力，先不管了。

对于帧率，当只有一个客户机连接的时候帧率可以达到60多帧左右，2个客户机连接时只有20多帧，3个客户机连接时只有8帧。显然这个性能下降的是十分快的，原因也显而易见。因为存在存在图片读写同步互斥的问题。这个问题需要优化。

 

后续移植

服务器代码目前还是运行在Linux的PC机上的，接下来需要移植到树莓派中。具体方法将在后面的博客写到。

 

更多Linux资料及视频教程点击这里