Ubantu16.04+CUDA10.0安装mmaction以及提取UCF101的frame和optical flow

Ubantu16.04+CUDA10.0安装mmaction以及提取UCF101的frame和optical flow

研一刚转到视频动作识别方向，因为很多模型都需要光流输入，因此不得不安装第三方库提取光流。尽管现在该领域何凯明大佬的最新成果，Non-Local模块以及SlowFast-Net只用视频帧作为输入，无需光流就能碾压之前所有模型。但是对于视频的抽帧，提取光流，以及标准化为数据集等基本处理是必不可少的。在安装mmaction过程中踩坑无数，甚至有个问题到现在还没解决，所幸还算是安装成功了，至少能用了。【这篇博客好像是CSDN上第一篇关于mmaction安装的文章，希望能给有需要的同行们有一点点帮助】
mmaction安装的主要步骤参照MMACTION_INSTALL.md，接下来将按照这个流程进行记录。

一、Requirements

Linux
Python 3.5+
PyTorch 1.0+
CUDA 9.0+
NVCC 2+（这个不用特地安装，CUDA自带）
GCC 4.9+
ffmpeg 4.0+
mmcv
Decord
dense_flow

在进行下列安装操作前，请先下载mmaction：

git clone --recursive https://github.com/open-mmlab/mmaction.git

我的安装都是在conda创建虚拟环境下进行的，不会创建虚拟环境的参考conda创建虚拟环境以及相关操作和Linux下系统默认python版本的切换。注意：为了避免不必要的麻烦请在创建虚拟环境时不要另外安装CUDA，就用之前已有的就行，不然环境路径混乱容易出错，而且很难排查。此外，创建虚拟环境时使用的python版本为3.7，并且将其设定为系统默认。

二、Install Decord (Optional)

（1）通过运行以下命令安装所需的软件包：

# 官方PPA随附ffmpeg 2.8，但缺少大量功能，我们在此处使用ffmpeg 4.0
sudo apt-get install -y software-properties-common
sudo add-apt-repository ppa:jonathonf/ffmpeg-4
sudo apt-get update
sudo apt-get install -y build-essential python3-dev python3-setuptools make cmake 
libavcodec-dev libavfilter-dev libavformat-dev libavutil-dev
# 注意：需要安装cmake 3.8或更高版本，如果版本太旧，可以从cmake官方网站进行安装
sudo apt-get install ffmpeg

需要更新cmake版本的请见cmake-3.16.6安装。
（2）从源代码mmaction中构建库：

cd third_party/decord
mkdir build && cd build
cmake .. -DUSE_CUDA=0
make

cmake或者make失败的，请先确认是否按照（1）中更新了cmake版本。倘若与版本无关，可以尝试在前面加sudo再执行。反正我遇到过直接make不行，但是sudo make又成功了。

三、Install dense_flow (Optional)

（1）安装OpenCV=4.1.0
（仅适用于CUDA 10.0）CUDA 9.x应该没有问题。 CUDA 10.0中不推荐使用视频解码器。 要处理此问题，请下载NVIDIA VIDEO CODEC SDK，并将头文件复制到您的cuda路径（例如，/ usr / local / cuda-10.0 / include /）。 请注意，您可能必须以root用户身份执行。

unzip Video_Codec_SDK_9.0.20.zip
cp Video_Codec_SDK_9.0.20/include/nvcuvid.h /usr/local/cuda-10.0/include/
cp Video_Codec_SDK_9.0.20/include/cuviddec.h /usr/local/cuda-10.0/include/
cp Video_Codec_SDK_9.0.20/Lib/linux/stubs/x86_64/libnvcuvid.so /usr/local/cuda-10.0/lib64/libnvcuvid.so.1

NVIDIA VIDEO CODEC SDK官网下载需要付费，网上有资源可以自行下载。
（2）获取用于构建OpenCV 4.1.0的必需软件包

sudo apt-get install -y liblapack-dev libatlas-base-dev
sudo apt-get install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev
sudo apt-get install -y software-properties-common
sudo add-apt-repository ppa:jonathonf/ffmpeg-4
sudo apt update
sudo apt install -y ffmpeg

（2）使用cmake-gui安装OpenCV 4.1.0及OpenCV-contrib4.1.0
直接按照GitHub上步骤安装完出了点问题，还是没法儿用。我就重新使用cmake-gui安装了OpenCV4.1.0和OpenCV-contrib4.1.0，注意这俩版本必须匹配。使用cmake-gui安装的详细步骤参考
cmake-gui安装opencv及opencv-contrib。教程里安装的是3.0+的版本，除了安装包不同，安装步骤完全一致，但是对于cmake-gui的config过程中，各种选项的选择请参考

cmake -DCMAKE_BUILD_TYPE=Release -DWITH_CUDA=ON -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.1.0/modules/ -DWITH_TBB=ON -DBUILD_opencv_cnn_3dobj=OFF -DBUILD_opencv_dnn=OFF -DBUILD_opencv_dnn_modern=OFF -DBUILD_opencv_dnns_easily_fooled=OFF -DOPENCV_ENABLE_NONFREE=ON ..

一个个选择或者反选。这里有的如果cmake-gui界面中没有，可以不管。注意，-DOPENCV_ENABLE_NONFREE = ON被显式设置为启用TSN中提议的扭曲流。 如果您不想使用此参数，则可以跳过此参数以加快编译速度。
（3） 构建dense_flow

cd third_party/dense_flow
# dense_flow dependencies
sudo apt-get -qq install libzip-dev libboost-all-dev
mkdir build && cd build
OpenCV_DIR=../../opencv-4.1.0/build cmake ..
make -j

我在make -j过程中出现了一点点问题，但是直接跳过之后，发现也没有影响使用。到这一步遇到问题的小伙伴在debug无果后，可以尝试跳过。

四、Install MMAction

（1）安装 Cython

cd mmaction
pip install cython 

报错的话 就尝试conda install cython
（2）编译CUDA扩展

./compile.sh

报错的话，请chmod 777 更改文件权限，再执行

（3）Install mmaction

python setup.py develop

至此，安装已经全部结束。

五、Process UCF101

参考DATASET.md以熟悉数据准备，参考GETTING_STARTED.md以使用MMAction。

使用mmaction处理UCF101

根据Preparing UCF-101能够完成对UCF101的抽帧提取光流。在下载annotations和video过程中，报错说网页证书无法验证，加–no-check-certificate也没用。因此这两步建议手动下载。分享一下数据集处理过程：

可以看到是使用了4块GPU进行加速的。想光用CPU跑的建议放弃，别浪费时间。


各个动作类别视频的处理结果被分别放到一个文件夹中，包含内容为：x方向上的光流flow_x、y方向上的光流flow_y以及相应的RGB帧。