视频监控

视频监控准备

UVC，全称为：USB video class 或USB video device class
　 UVC既电脑硬件在不需要安装任何的驱动程序下即插即用，因为其驱动程序已经固化在硬件的芯片里面。可以使用UVC技术的包括摄像头、数码相机、类比影像转换器、电视棒及静态影像相机等设备。
　　最新的UVC版本为UVC 1.1，由USB Implementers Forum定义包括基本协议及负载格式。
　　网络摄像头是第一个支持UVC而且也是数量最多的UVC设备，目前，操作系统只要是 Windows XP SP2 之后的版本都可以支持 UVC，当然 Vista 就更不用说了。使用 UVC 的好处 USB 在 Video这块也成为一项标准了之后，硬件在各个程序之间彼此运行会更加顺利，而且也省略了驱动程序安装这一环节。

    gspca webcam drivers 是linux下摄像头支持的最广泛的一个驱动,  这是由一个法国医生(http://mxhaard.free.fr/)所设计编写的.不过从2007年底开始,已经不再维护, 最后一个版本为20071224.

    而从lwn.net(http://lwn.net/Articles/291054/)得知, 从2.6.26开始, gspca已经合并到内核中间,
名称为UVC(USB Video Class Linux device driver), 在driver/media/video/gspca目录. 编译时只需勾选相关的模块即可.使用usb camera插入时即可自动加载模块.
      V4L，其全称是Video4Linux（Video for Linux），是在linux内核中关于视频设备的API接口（网上有些帖子说是内核驱动，这种说法是不妥的），涉及开关视频设备、采集并处理视频图像信息。V4L从2.1.x版本的内核中开始出现。
　　V4L2其全称是Video4Linux2 （Video for Linux Two）。很显然，他是V4L的改进版，修复了第一代的部分设计bug。从2.5.x开始，V4L2就被集成到内核里面去了。尽管如此，还是有一部分设备的驱动不支持新版本的V4L2，所以，有时候我们会看到V4L跟V4L2同时出现在代码里面。

这里主要是用mjpg-streamer,移植这个需要先移植jpeg库

交叉编译链要支持eabi

一、 移植jpeg库

下载jpegsrc.v6b.tar.gz

#tar zxvf jpegsrc.v6b.tar.gz   jpeg目录

#cd jpeg目录 

#./configure --prefix=/usr/local/arm/4.3.3/arm-none-linux-gnueabi --exec-prefix=/usr/local/arm/4.3.3/arm-none-linux-gnueabi --enable-shared --enable-static

这里配置最后将jpeg库安装到交叉编译链/usr/local/arm/4.3.3/arm-none-linux-gnueabi

下面用jpeg库目录代替

修改Makefile:

CC = gcc 改为 CC = arm-linux-gcc

AR = ar ac 改为 AR = arm-linux-ar ac

AR2 = ranlib 改为AR2 = arm-linux-ranlib

编译安装

#make

#make install

将jpeg库下的lib拷贝到根文件系统里

二、 移植mjpg-streamer

1) mjpg-stream源码包通过下面这个网址下载 http://sourceforge.net/projects/mjpg-streamer/
  2)解压源码 tar xvf mjpg-streamer-r63.tar.gz
    
  3)修改源码
  cd mjpg-streamer-r63
    
  修改顶层makefile及plugins目录中的各级makefile将所有
  CC=gcc
  修改为
  CC=arm-none-linux-gnueabi-gcc
    
    
 4)编译
  make

编译可能会出现另一个错误，就是ld –ljpeg错误，这是jpeg没装到交叉编译链，我使用指定目录都没成功

5)测试
  mkdir /根文件目录/mjpg
  cp *.so /根文件目录/mjpg
  cp mjpg-stream /根文件目录/bin

打开开开发板运行
  mjpg_streamer -i "/mjpg/input_uvc.so" -o "/mjpg/output_http.so -w /t"
  在源码目录下有start.sh,这个脚本里有一些mjpg-stream的使用方法及说明
  打开一个网页输入下面地址就能够看到一个视频(开发板的IP为192.168.0.69)：
  http://192.168.0.69:8080/?action=stream
  打开一个网页输入下面地址就能够看到一个静态图片：
  http:// 192.168.0.69:8080/?action=snapshot

可能会出现

Unable to set format: Invalid argument

 Init v4L2 failed !! exit fatal 

 i: init_VideoIn failed

MJPG-streamer [1030]: init_VideoIn failed

这摄像头不支持mjpeg格式，要采用YUV
  6)在mjpg源码下有一个www的目录，这个一个网络使用mjpg的实例，结合web服务器(boa)可以实现一些其他相关功能。

Web服务器boa 移植

Common Gateway Interface（CGI——通用网关接口）

　　用于初始化软件服务的服务器方接口。这套接口描述了Web服务器与同一计算机上的软件的通信方式。

　　通用网关接口，它是一段程序，运行在服务器上，提供同客户端HTML页面的接口，通俗的讲CGI就像是一座桥，把网页和WEB服务器中的执行程序连接起来，它把HTML接收的指令传递给服务器，再把服务器执行的结果返还给HTML页；用CGI可以实现处理表格，数据库查询，发送电子邮件等许多操作，最常见的CGI程序就计数器。CGI使网页变得不是静态的，而是交互式的。

简而言之，Web服务器只是简单的通过响应(response)HTML页面来处理HTTP请求(request)。

随着Internet技术的兴起，在嵌入式设备的管理与交互中，基于Web方式的应用成为目前的主流，
这种程序结构也就是大家非常熟悉的B/S结构，即在 嵌入式设备上运行一个支持脚本或CGI功能的Web服务器，
能够生成动态页面，在用户端只需要通过Web浏览器就可以对嵌入式设备进行管理和监控，非常方 便实用。
本节主要介绍这种应用的开发和移植工作。
用户首先需要在嵌入式设备上成功移植支持脚本或CGI功能的Web服务器，然后才能进行应用程序的开发。
    1、 嵌入式Web服务器移植  由于嵌入式设备资源一般都比较有限，并且也不需要能同时处理很多用户的请求，
因此不会使用Linux下最常用的如Apache 等服务器，而需要使用一些专门为嵌入式设备设计的Web服务器，
这些Web服务器在存贮空间和运行时所占有的内存空间上都会非常适合于嵌入式应用场合。
   典型的嵌入式Web服务器有Boa （www.boa.org）和thttpd （http://www.acme.com/software/thttpd/）等，
它们和Apache等高性能的Web服务器主要的区别在于它们一般是单进程服务器，只有在完成一个用户请求后才能响应
另一个用户的请求，而无法并发响应，但这在嵌入式设备的应用场合里已经足够了

我们绍比较常用的Boa服务器的移植。
     Boa是一个非常小巧的Web服务器，可执行代码只有约60KB。它是一个单任务Web服务器，只能依次完成用户的请求，
而不会fork出新的进程来处理 并发连接请求。但Boa支持CGI，能够为CGI程序fork出一个进程来执行。Boa的设计目标是速度和安全，在其站点公布的性能测试中，Boa的性能 要好于Apache服务器。
    第一步完成Boa程序的移植。从www.boa.org下载Boa源码，当前最新版本为0.94.13，将其解压并进入源码目录的src
子目录
    # tar xzf boa-0.94.13.tar.gz
    # cd boa-0.94.13/src
生成Makefile文件
    # ./configure
    修改Makefile文件，找到CC=gcc，将其改成CC = arm-linux-gcc，再找到CPP = gcc –E，
将其改成CPP = arm-linux-gcc –E，并保存退出。
    然后运行make进行编译，得到的可执行程序为boa，将调试信息剥去，得到的最后程序只有约60KB大小。
    # make
    # arm-linux-strip boa
   第二步完成Boa的配置，使其能够支持CGI程序的执行。Boa需要在/etc目录下建立一个boa目录，里面放入Boa的主要
配置文件boa.conf。在Boa源码目录下已有一个示例boa.conf，可以在其基础上进行修改，下面解释一下该文件的含义：
#监听的端口号，缺省都是80，一般无需修改
Port 80
# bind调用的IP地址，一般注释掉，表明绑定到INADDR_ANY，通配于服务器的所有IP地址
#Listen 192.68.0.5
#作为哪个用户运行，即它拥有该用户的权限，一般都是nobody，需要/etc/passwd中有
#nobody用户
User nobody
#作为哪个用户组运行，即它拥有该用户组的权限，一般都是nogroup，需要在/etc/group文
#件中有nogroup组
Group nogroup
#当服务器发生问题时发送报警的email地址，目前未用，注释掉
#ServerAdmin root@localhost
#错误日志文件。如果没有以/开始，则表示从服务器的根路径开始。如果不需要错误日志，
则用#/dev/null。在下面设置时，注意一定要建立/var/log/boa目录
ErrorLog /var/log/boa/error_log
#访问日志文件。如果没有以/开始，则表示从服务器的根路径开始。如果不需要错误日志，
则用#/dev/null或直接注释掉。在下面设置时，注意一定要建立/var/log/boa目录
#AccessLog /var/log/boa/access_log
#是否使用本地时间。如果没有注释掉，则使用本地时间。注释掉则使用UTC时间
#UseLocaltime
#是否记录CGI运行信息，如果没有注释掉，则记录，注释掉则不记录
#VerboseCGILogs
#服务器名字
ServerName www.hyesco.com
#是否启动虚拟主机功能，即设备可以有多个网络接口，每个接口都可以拥有一个虚拟的Web服
#务器。一般注释掉，即不需要启动
#VirtualHost
#非常重要，HTML文档的主目录。如果没有以/开始，则表示从服务器的根路径开始。
DocumentRoot /var/www
#如果收到一个用户请求的话，在用户主目录后再增加的目录名
UserDir public_html
#HTML目录索引的文件名，也是没有用户只指明访问目录时返回的文件名
DirectoryIndex index.html
#当HTML目录没有索引文件时，用户只指明访问目录时，boa会调用该程序生成索引文件然后
#返回给用户，因为该过程比较慢最好不执行，可以注释掉或者给每个HTML目录加上#DirectoryIndex指明的文件
#DirectoryMaker /usr/lib/boa/boa_indexer
#如果DirectoryIndex不存在，并且DirectoryMaker被注释，那么就用Boa自带的索引
#生成程序来生成目录的索引文件并输出到下面目录，该目录必须是Boa能读写
# DirectoryCache /var/spool/boa/dircache
#一个连接所允许的HTTP持续作用请求最大数目，注释或设为0都将关闭HTTP持续作用
KeepAliveMax 1000
#HTTP持续作用中服务器在两次请求之间等待的时间数，以秒为单位，超时将关闭连接
KeepAliveTimeout 10
#指明mime.types文件位置。如果没有以/开始，则表示从服务器的根路径开始。可以注释掉
#避免使用mime.types文件，此时需要用AddType在本文件里指明
MimeTypes /etc/mime.types
#文件扩展名没有或未知的话，使用的缺省MIME类型
DefaultType text/plain
#提供CGI程序的PATH环境变量值
CGIPath /bin:/usr/bin:/usr/local/bin
#将文件扩展名和MIME类型关联起来，和mime.types文件作用一样。如果用mime.types
#文件，则注释掉，如果不使用mime.types文件，则必须使用
#AddType application/x-httpd-cgi cgi
#指明文档重定向路径
#Redirect /bar http://elsewhere/feh/bar
#为路径加上别名
Alias /doc /usr/doc
#非常重要，指明CGI脚本的虚拟路径对应的实际路径。一般所有的CGI脚本都要放在实际路径
#里，用户访问执行时输入站点+虚拟路径+CGI脚本名
ScriptAlias /cgi-bin/ /var/www/cgi-bin/
   用户可以根据自己需要，对boa.conf进行修改，但必须要保证其他的辅助文件和设置必须和boa.conf里的配置相符，
不然Boa就不能正常工作。 在上面的例子中，我们还需要创建日志文件所在目录/var/log/boa，
创建HTML文档的主目录/var/www，将mime.types文件拷贝 到/etc目录，
创建CGI脚本所在目录/var/www/cgi-bin/。mime.types文件用来指明不同文件扩展名对应的MIME类型，
一般 可以直接从Linux主机上拷贝一个，大部分也都是在主机的/etc目录下。

默认是/var/www下的内容可以访问                       （DocumentRoot /var/www）
默认cgi ：ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/  （cgi可执行程序放在 /usr/lib/cgi-bin/目录下）
 例子http://201.201.201.249/cgi-bin/cgi-test.cgi
CGIPath /bin:/usr/bin:/usr/local/bin
 只有这些目录下的命令可以被调用，如果要root的权限（如ifconfig配置ip）需要加上/sbin

Cgic安装

到http://www.boutell.com/cgic/下载

视频采集FFmpeg移植

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec等。

libavformat ：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构

　　和读取音视频帧等功能；

libavcodec ：用于各种类型声音/图像编解码；

libavutil ：包含一些公共的工具函数；

libswscale ：用于视频场景比例缩放、色彩映射转换；

libpostproc：用于后期效果处理；

ffmpeg ：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等；

ffserver ：一个 HTTP 多媒体即时广播串流服务器；

ffplay ：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

x264是一种免费的、具有更优秀算法的符合H.264/MPEG-4AVC视频压缩编码标准格式的编码库

x264 is a free software library and application for encoding video streams into the H.264/MPEG-4 AVCformat, and is released under the terms of the GNU GPL.这里说x264是一个用于将视频流编码成h.264/mpeg-4.avc格式的免费库和程序.

这里要讲x264是因为FFmpeg支持x264可以将采集的视频编码成H.264/MPEG-4 AVC.

X264下载网址

http://www.videolan.org/developers/x264.html

(1)解压文件

tar xzvf x264.tar.gz

 

(2)进入目录

cd x264

 

(3)生成配置文件

./configure --host=arm-linux --prefix=/usr/local/x264-arm --enable-shared --enable-debug --disable-asm

(4)修改配置文件

vi config.mak

 

把里面的的

cc=gcc 改成cc=arm-linux-gcc

将LD=gcc 改成LD=arm-linux-gcc

STRIP= strip改为 STRIP=arm-linux-strip

ar=ar 改成ar=arm-linux-ar

ranlib=ranlib 改成 ranlib=arm-linux-ranlib

 

(5)make

(6) make install

FFmpeg官网

http://ffmpeg.org/

注意：

ffmpeg中ffplay需要SDL支持，如需编译ffplay，则需下面步骤：

ffmpeg针对mp3、wma音频格式解码为浮点型，难以在arm上流畅运行

./configure --prefix=/usr/local/SDL-arm --host=arm-linux --enable-shared --enable-static --disable-joystick --disable-cdrom --disable-arts  --disable-esd --disable-video-x11  --enable-video-fbcon

Make

Make install

交叉编译FFmpeg

附：ffmpeg ./configure参数

Standard options: 基本选项参数
--help                   显示此帮助信息|print this message
--log[=FILE|yes|no]      记录测试并输出到config.err文件|log tests and output to FILE [config.err]
--prefix=PREFIX          安装程序到指定目录（默认/usr/local）|install in PREFIX[/usr/local]
--libdir=DIR             安装库到指定目录（默认prefix/lib）|install libs in DIR [PREFIX/lib]
--shlibdir=DIR           指定共享库路径（默认prefix/lib）|install shared libs in DIR [PREFIX/lib]
--incdir=DIR             指定includes路径（默认prefix/include/ffmpeg）|install includes in DIR[PREFIX/include/ffmpeg]
--mandir=DIR             指定man page路径（默认prefix/man）install man page in DIR [PREFIX/man]
--enable-mp3lame         启用mp3编码libmp3lame（默认关闭）enable MP3 encoding via libmp3lame[default=no]
--enable-libogg          启用ogg支持libogg（默认关闭）enable Ogg support via libogg [default=no]
--enable-vorbis          启用Vorbis支持libvorbis（默认关闭）enable Vorbis support via libvorbis [default=no]
--enable-faad            启用faad支持libfaad（默认关闭）enable FAAD support via libfaad [default=no]
--enable-faadbin         启用faad运行时链接支持（默认关闭）build FAAD support with runtime linking[default=no]
--enable-faac            启用faac支持libfaac（默认关闭）enable FAAC support via libfaac [default=no]
--enable-libgsm          启用GSM支持libgsm（默认关闭）enable GSM support via libgsm [default=no]
--enable-xvid            启用xvid支持xvidcore（默认关闭）enable XviD support via xvidcore [default=no]
--enable-x264            启用H.264编码（默认关闭）enable H.264 encoding via x264 [default=no]
--enable-mingw32         启用MinGW本地/交叉win环境编译|enable MinGW native/cross Windows compile
--enable-mingwce         启用MinGW本地/交叉winCE环境编译enable MinGW native/cross WinCE compile
--enable-a52             启用A52支持（默认关闭）enable GPLed A52 support [default=no]
--enable-a52bin          启用运行时打开liba52.so.0（默认关闭）open liba52.so.0 at runtime [default=no]
--enable-dts             启用DTS支持（默认关闭）enable GPLed DTS support [default=no]
--enable-pp              启用后加工支持（默认关闭）enable GPLed postprocessing support [default=no]
--enable-static          构建静态库（默认启用）build static libraries [default=yes]
--disable-static         禁止构建静态库（默认关闭）do not build static libraries [default=no]
--enable-shared          构建共享库（默认关闭）build shared libraries [default=no]
--disable-shared         禁止构建共享库（默认启用）do not build shared libraries [default=yes]
--enable-amr_nb          启用amr_nb float音频编解码器|enable amr_nb float audio codec
--enable-amr_nb-fixed    启用fixed amr_nb codec | use fixed point for amr-nb codec
--enable-amr_wb          启用amr_wb float音频编解码器|enable amr_wb float audio codec
--enable-amr_if2         启用amr_wb IF2音频编解码器|enable amr_wb IF2 audio codec
--enable-sunmlib         启用Sun medialib（默认关闭） | use Sun medialib [default=no]
--enable-pthreads        启用pthreads（多线程）（默认关闭）use pthreads [default=no]
--enable-dc1394          启用libdc1394、libraw1394抓取IIDC-1394（默认关闭）enable IIDC-1394 grabbing using libdc1394 and libraw1394 [default=no]
--enable-swscaler        启用计数器支持？（默认关闭）software scaler support [default=no]
--enable-avisynth        允许读取AVISynth脚本本件（默认关闭）allow reading AVISynth script files [default=no]
--enable-gpl             允许使用GPL（默认关闭）allow use of GPL code, the resulting libav* and ffmpeg will be under GPL [default=no]

这里我交叉编译的是

（1）配置

./configure --cross-prefix=arm-linux- --enable-cross-compile --target-os=linux --cc=arm-linux-gcc --arch=arm --cpu=armv4   --prefix=/usr/local/ffmpeg-arm --enable-shared --disable-static --enable-gpl --enable-nonfree --enable-ffmpeg --disable-ffplay --enable-ffserver --enable-swscale --enable-pthreads --disable-armv5te --disable-armv6 --disable-armv6t2 --disable-yasm --disable-stripping

这是建立在交叉编译了x264之后的，如果要编码为其他的话就要再交叉编译别的解码库

（2）Make

· 在某一些编译器下，会提示找不到intptr_t定义，如果是这样 libavcodec/bitstream.h:181行 ,加入如下语句.

typedef int int32_t typedef int32_t intptr_t ; /* Add by Andrew Huang*/

我这里是在get_bits.h和put_bits.h里加的，具体可看编译错误

（3）make install

(4)测试：

拍照

./ffmpeg -f video4linux2 -s vga  -i /dev/video0   -f image2 -vcodec mjpeg menu%d.jpg

录视频

./ffmpeg -f video4linux2 -s 320x240 -i /dev/video0 /test.avi

下载到开发板，发现之前mpeg格式的摄像头用FFmpeg会造成OOM killed 说对swapped区内存操作，可能是FFmpeg不支持那个摄像头，换一个yuv格式的摄像头，用了这个摄像头，使用mjpg-streamer时应该在”input_file.so --yuv”加上这个。加上这个出现个新问题：

MJPG-streamer [1049]: starting input plugin

MJPG-streamer [1049]: starting output plugin: output_http.so (ID: 00)

Wrong JPEG library version: library is 62, caller expects 80

原因是上面第一步交叉编译jpeg库时用太老的库了，解决方法安装jpegsrc.v8.tar.gz

配置

./configure --prefix=/usr/local/arm/jpeg-v8 --enable-shared --enable-static --host=arm-linux

安装

Make

Make install

拷贝到根文件目录lib/下

录制的视频可以采用mplayer播放