ffmpeg 再编译使用 ffmpeg-gl-transition 以丰富视频特效以及支持有透明通道的视频合成

已于 2024-08-29 11:54:33 修改
阅读量4.4k 收藏 14
点赞数 6
分类专栏： 总结归纳 文章标签： 后端 ffmpeg opengl
于 2021-05-08 16:47:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Asa_Ho/article/details/116096500
版权

一、背景、需求

FFMPEG 提供的视频动效效果目前看是较为生硬的。
使用这个插件拓展之后，就可以满足下面的需求。

Q：如何拓展支持更好的视频动效呢？
A：即可支持开源的 76 个效果，详见：https://gl-transitions.com/gallery

Q：如果需要在原视频上，增加一些带有透明度的图片、动图，并增加特效该怎么处理？
A：带透明度的动图可转为一张张图片，以如「%06d.png」的方式作为输入源，即可支持合成并增加特效。

Q：想要自定义特效纹理，自定义特效效果怎么办？
A：可以参考开源的 https://gl-transitions.com/editor/displacement 里面的纹理图片，以及 glsl 文件内容，即可自定义纹理和效果。主要是通过插件使 FFMPEG 支持了 glsl 文件以及问题图片的输入合成。

二、 参考与摘要

本文针对的是 2 合 1 的视频特效处理。也就是输入视频为 2 个，输出 1 个。个别特效需要通过入参额外引入蒙版或纹理图片。
FFMPEG 官网文档的 Complex-filtergraphs 说明
参考内容：ffmpeg 使用 OpenGL 制作转场效果
最新改动适配了 ffmpeg-7.0.1，具体详见 我 fork 的 commit 记录

三、部署成功路线

环境：Ubuntu 7.3.0、ubuntu:24.04

按照此文档中：ffmpeg 使用 OpenGL 制作转场效果 的「Linux without EGL」路线，原因：

编译安装尝试过 Linux with EGL 的路线，因为有这句话「We default to EGL rather than GLX on Linux to make it easier to run headless, so xvfb is no longer needed.」。
然而，装好之后合成的视频全黑（编译安装以及合成信息无报错或警告）
安装 GLEW、glfw 、xvfb 等，编译 ffmpeg 使用了配置参数参考：

./configure --enable-nonfree --enable-libass --enable-gpl --enable-libx264 --enable-librsvg --enable-libvpx --enable-opengl --enable-libfreetype --enable-libmp3lame --enable-libtheora --enable-libvorbis --enable-libx265 --enable-libopus --enable-libxvid \
--enable-filter=gltransition --extra-libs='-lGLEW -lglfw -lSOIL'

安装各种库如果遇到问题，可以拿报错信息问问 AI，按照解决方法装上重试就好，这里就不赘述了

四、运行经验分享

  1. 如果自己魔改，调试可加配置项：./configure --enable-debug --disable-optimizations --disable-asm --disable-stripping，参考自：(原)ffmpeg中filter开发过程遇到的坑<一>

  2. 编译安装（sudo make && sudo make install）完成后，需要运行起模拟的显示器环境：

Install xvfb:
`pkg install xorg-vfbserver` (系统环境 FreeBSD)
`apt install xvfb` (系统环境 Ubuntu)
Run xvfb:
`Xvfb :1 -screen 0 1280x1024x16`
Execute ffmpeg-gl-transition example:
`env DISPLAY=:1 ffmpeg -i media/0.mp4 -i media/1.mp4 -filter_complex gltransition -y out.mp4`
or
`env DISPLAY=:1 ffmpeg -i media/0.mp4 -i media/1.mp4 -filter_complex "gltransition=duration=4:offset=1.5:source=crosswarp.glsl" -y out.mp4`

注：这块个人理解就是用 CPU 模拟 GPU 的一些工作吧
headless environments 是指 without a graphical display，此环境下使用 ffmpeg-opengl-transition 需要运行 xvfb，来源于：Issue: Error initializing filter ‘gltransition’

1. 部署使用涉及

  1. 守护进程、后台运行，参考Linux 守护进程的启动方法
nohup Xvfb :1 -screen 0 1280x1024x16 >/dev/null 2>&1 &
  1. 设置环境变量 DISPLAY=:1，临时：export DISPLAY=:1
  2. 设置了环境变量之后，就可以直接使用 ffmpeg 命令 的 gltransition 滤镜了，检查：ffmpeg -h filter=gltransition

2. 排查环境是否设置成功

# 查看 OpenGL 是否存在，如果返回 `Error: couldn't find RGB GLX visual or fbconfig`，跳到问题7
DISPLAY=:1 glxinfo | grep -i opengl

# 查看环境变量，是否返回设置的值
echo $DISPLAY 

# 查看 Xvfb 是否运行
ps -aux | grep -i xvfb

3. 能实现的效果：

OpenGL 的 glsl 文件以及其开源效果
测试了目前所有 76 个效果，全部可用。

大概有 20 个左右的效果，直接使用以上提供的 .glsl 文件合成出不来效果，原因参考：Issue: can only use a few GL Transitions，即是文件中参数默认值未设置的原因，因为不会出现报错，所以没有效果的时候就比较难排查原因。可以手动修改 glsl 文件设置变量的值：

  • 删掉 uniform 关键字，设置属性值，如：
# in diplacement.glsl:
uniform float strength; // = 0.5
float strength = 0.5; //改成这样

另外有一些如 luma.glsl、displacement.glsl 等的效果还需要额外的纹理图片资源才能处理出效果，可通过下面的魔改版「使用额外的纹理图片」内容解决。

特别的 TVStatic.glsl 会报着色器数据类型错误，通过手动修改 glsl 文件解决：

  1. 设置 offset 的值
  2. 删除精度字符 highp

但是合成出来的视频很大，所以没有考虑使用这个电视雪花的效果了。（其它效果 300k，这个 2000k）

4. 可能出现的问题

注：这些是以前还没有 AI 的时候遇到的问题。目前大概率 AI 很方便能解决的了。

  1. 在下载安装 GLEW 之后，依旧找不到对应的 *.so 库？
    搜索出的办法（出处忘了）：
  1. 怀疑是环境变量未配置，在 ~/.profile 中最后一行增加 export PATH="/usr/lib64:$PATH" 来配置环境变量
  2. 将 so 库所在的目录 /usr/lib64 写入到 /etc/ld.so.conf 中，然后执行 sudo ldconfig

或者创建软链：

sudo ln -s **.so /usr/lib/
  1. 如何查看环境中 OpenGL 的版本信息？引用自：What is terminal command that can show OpenGL version?

命令需要加上 Run xvfb 时对应的标识：此处为 :1
即： DISPLAY=:1 glxinfo | grep -i opengl

  1. 如何快速测试所有的过场效果？
#!/usr/bin/env bash
# Example of concatenating 2 mp4s together with 1-one transitions between them.
env DISPLAY=:1 /usr/bin/ffmpeg -i /home/vagrant/code/video_maker/public/media/0.mp4 -i /home/vagrant/code/video_maker/public/media/1.mp4 -filter_complex "gltransition=duration=3:offset=1:source=/home/vagrant/code/video_maker/public/transitions/"$1".glsl" -loglevel 24 -y /home/vagrant/code/video_maker/public/media-transition/$1.mp4
# path=$1
# files=$(ls $path)
# for file_a in $files
# do temp_file=`basename $file_a`
# echo `env DISPLAY=:1 /usr/bin/ffmpeg -i /home/vagrant/code/video_maker/public/media/0.mp4 -i /home/vagrant/code/video_maker/public/media/1.mp4 -filter_complex "gltransition=duration=3:offset=1:source=/home/vagrant/code/video_maker/public/transitions/"$temp_file -loglevel 24 -y /home/vagrant/code/video_maker/public/media-transition/$temp_file.mp4`
# done

  1. 大部分遇到的问题都可以在 ffmpeg 使用 OpenGL 制作转场效果 这的 Issues 里找到参考。

  2. 报错：Operation not permitted，通过上面的「排查环境是否设置成功」排查

1、可能因为未运行 Xvfb：
$ nohup Xvfb :1 -screen 0 1280x1024x16 >/dev/null 2>&1 &
2、可能环境变量 DISPLAY 未设置

  1. ffmpeg 运行报错 setup_gl ERRORFailed to configure input pad on Parsed_gltransition_0 时，且命令 DISPLAY=:1 glxinfo | grep -i opengl 返回 Error: couldn't find RGB GLX visual or fbconfig 时，（参考：CentOS下 OpenGL安装及编程开发）可尝试：

yum install mesa*
yum install freeglut*

  1. LearnOpenGL：纹理，提到了纹理上下颠倒的问题

7.1. 修改额外纹理的 glsl 文件的方式，如 displacement.glsl：

//由
float displacement = texture2D(extra_tex, uv).r * strength;
//改成：
float displacement = texture2D(extra_tex, vec2(uv.x, 1.0 - uv.y)).r * strength;

7.2. 预处理纹理图片（垂直翻转）：

ffmpeg -i texture.png -vf vflip texture-flip.png
  1. 转场边缘的问题
    可通过修改文件中 glTexParameteri 的参数来调整，我的需求可由 GL_REPEAT 改成了 GL_CLAMP_TO_EDGE 来满足。参数说明同样是这篇已经介绍得很清楚了：LearnOpenGL：纹理

五、魔改 提的一个 Pull request 然而并没有被 merge 下面这当作是代码改动解释吧

1. 自行修改文件 vf_gltransition.c 实现支持输入视频/图片的透明通道

  1. GL_RGB 全替换为 GL_RGBA
  2. glPixelStorei 参数修改，原 ***/3 改成 ***/4，如 fromFrame->linesize[0] / 4
  3. 将 query_formats 方法替换为（参考自官方filter：ffmpeg-4.2.4/libavfilter/vf_rotate.c 的 query_formats 方法）

2. 上面改完发现无透明通道的视频合成出来变成了绿色，包括默认例子。

改良版：

  1. 删除设置项 #define PIXEL_FORMAT (GL_RGB)，将 GL_RGB 和 PIXEL_FORMAT 全替换为 c->pix_fmt

  2. 在结构体 GLTransitionContext 增加属性值：

int alpha;//输入值设置通道属性
//判断通道值
int pix_fmt;
int channel_num;
  1. 方法 query_formats 改为：
static int query_formats(AVFilterContext *ctx)
{
    static const enum AVPixelFormat pix_fmts[] = {
        AV_PIX_FMT_RGB24,    AV_PIX_FMT_BGR24,
        AV_PIX_FMT_ARGB,     AV_PIX_FMT_ABGR,
        AV_PIX_FMT_RGBA,     AV_PIX_FMT_BGRA,
        AV_PIX_FMT_NONE
    };
    AVFilterFormats *fmts_list;

    fmts_list = ff_make_format_list(pix_fmts);
    if (!fmts_list) {
      return AVERROR(ENOMEM);
    }
    return ff_set_common_formats(ctx, fmts_list);
}
  1. 增加透明属性：
static const enum AVPixelFormat alpha_pix_fmts[] = {
    AV_PIX_FMT_ARGB, AV_PIX_FMT_ABGR, AV_PIX_FMT_RGBA,
    AV_PIX_FMT_BGRA, AV_PIX_FMT_NONE
};
  1. 在方法 setup_gl 中增加判断：
c->alpha = ff_fmt_is_in(inLink->format, alpha_pix_fmts);
  av_log(ctx, AV_LOG_DEBUG, "c->alpha: %d, inLink->format: %d\n", c->alpha, inLink->format);

  //get alpha info
  if (c->alpha) {
    c->pix_fmt = GL_RGBA;
    c->channel_num = 4;
  } else {
    c->pix_fmt = GL_RGB;
    c->channel_num = 3;
  }
  1. 方法 glPixelStorei 的参数修改，原 ***/3 改成 ***/c->channel_num，如 fromFrame->linesize[0] / c->channel_num

六、使用额外的纹理图片

目标是支持多输入一个额外的纹理图片，入参为图片路径。

安装 SOIL 来加载图片：

git clone https://github.com/kbranigan/Simple-OpenGL-Image-Library.git
cd Simple-OpenGL-Image-Library
sudo make
sudo make install

./configure 加上 --extra-libs='-lSOIL'
  1. 文件 vf_gltransition.c 头部加上：
#include <SOIL.h>
  1. 结构体 GLTransitionContext 加上：
char *extra_texture; //注意与下面的属性区分
GLuint extra_tex; //生成纹理需要用到，参考from
  1. 输入项说明 gltransition_options 加上：
...
{ "extra_texture", "path to the gl-transition extra_texture file", OFFSET(extra_texture), AV_OPT_TYPE_STRING, {.str = NULL}, CHAR_MIN, CHAR_MAX, FLAGS },
...
  1. 方法 setup_tex 增加：
...
if (c->extra_texture) { // extra_texture
    int width, height, soilPixFmt;
    soilPixFmt = SOIL_LOAD_RGB;
    if (c->pix_fmt == GL_RGBA) {
      soilPixFmt = SOIL_LOAD_RGBA;
    }
    unsigned char* image = SOIL_load_image(c->extra_texture, &width, &height, 0, soilPixFmt);

    glGenTextures(1, &c->extra_tex);
    glActiveTexture(GL_TEXTURE0 + 2);
    glBindTexture(GL_TEXTURE_2D, c->extra_tex);

    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);

    glTexImage2D(GL_TEXTURE_2D, 0, c->pix_fmt, width, height, 0, c->pix_fmt, GL_UNSIGNED_BYTE, image);

    glUniform1i(glGetUniformLocation(c->program, "extra_tex"), 2);

    SOIL_free_image_data(image);
  }
  1. 使用前工作：
  • 修改 glsl 文件，如 displacement.glsl，将其中的 uniform sampler2D displacementMap; 以及着色器中的 displacementMap 改为 uniform sampler2D extra_tex; 和 extra_tex
  • 获取 glsl 文件目录，如 texture_dir/texture.png
ffmpeg -i media/0.mp4 -i media/1.mp4 -filter_complex "gltransition=source=displacement.glsl:extra_texture=texture_dir/texture.png" -y out.mp4

七、一点感想吧

This experience is a “key”, the “value” is help to find out that it’s not impossible to read, to understand, even to change something in ffmpeg/libavfilter like vf_blend.c, not just the vf_gltransition.c file. That is the true treasure.
你能魔改一个，就意味着你能魔改很多很多个哈哈哈哈。

Asa_Ho
关注
专栏目录
ffmpeg6.1集成ffmpeg-gl-transition滤镜
张音乐的博客
08-21 494
ffmpeg-gl-transition 是基于 ffmpeg 4.x 进行开发的一个滤镜插件，在高版本上安装会有很多问题，以下是安装步骤，过程中可能会遇到很多报错，每个人的环境不一样，遇到的报错也不一样，但是都有解决办法。修改 vf_gltransition.c 文件，要不然编译 make 的时候会有 error 报错，你也可以等 make 报错的时候看具体报错进行修改，大致就是方法找不到等问题，查看 ffmpeg6 的代码后很容易就可以找到解决办法，第一个是添加头文件。可代安装，有需要可以私信。
ffmpeg-gl-transition：FFmpeg过滤器，用于在视频流之间应用GLSL过渡
02-03
ffmpeg-gl-transition：FFmpeg过滤器，用于在视频流之间应用GLSL过渡
Linux下安装ffmpeg[亲自踩坑经验]
qq_45145801的博客
10-29 697
Linux下安装ffmpeg[亲自踩坑经验]安装环境安装 ffmpeg安装ffmpeg-gl-transition 安装环境 下面展示一些 `内联代码片`。 $ sudo yum -y update && yum -y upgrade $ sudo yum -y install gcc g++ make xorg-dev pkg-config libglew2.0 libglew-dev libglfw3-dev nasm yasm libx264-dev libx265-dev libv
Ubuntu 10.04 重新编译ffmpeg
duanbeibei的专栏
11-29 1593
系统自带安装的ffmpeg有些功能限制，比如不支持'-libfaac' 重新编译方法：        内容来源： https://ffmpeg.org/trac/ffmpeg/wiki/UbuntuCompilationGuideLucid Compile FFmpeg on Ubuntu Lucid Lynx 10.04 LTS This guide support
【ffmpeg】Ubuntu16.04重新编译ffmpeg来使用h264_nvenc编码
a529975125的博客
09-30 2760
目的 使ffmpeg进行视频编码时可以用到cuda加速，即h264_nvenc编码（h264编码可以在移动端进行播放） 环境 Ubuntu 16.04 Cuda 9.1 参考链接 https://dwijaybane.wordpress.com/2017/07/19/ffmpeg-with-nvidia-acceleration-on-ubuntu-16-04-nvenc-sdk/ http...
ffmpeg gl-transitions 图片合成视频 转场特效
热门推荐
JAVA_XCNH的博客
01-08 2万+
ffmpeg 图片合成以 GLTransitions 作为转场特效的特效视频
FFmpeg — 视频剪辑、动静水印、转场特效[gl-transitions]
qq_39115517的博客
06-29 1万+
官方多平台下载地址：http://ffmpeg.org/download.html 官方命令解释地址： https://www.ffmpeg.org/ffmpeg-all.html CSDN博主案例分享网址https://blog.csdn.net/dangxw_/article/details/49001413 ffmpeg 滤镜及其效果展示https://juejin.cn/post/6844904089977880583 ffmpeg 命令收集...
ffmpeg编译gl-transitions(centos7环境为基础)
vvshuai的博客
11-01 3727
ffmpeg编译gl-transitions(centos7环境为基础) 前言 ffmpeg本身是一款开源的编解码软件，在4.3版本后加入xfade的转场，一次偶然逛发现了GRE大神使用WebGL编写的一些转场，效果十分酷炫，以及Travis Fischer大神写的将ffmpeg和gl-transitions链接到一起的文件，网上教程基本都是基于Ubuntu系统，转到centos上还是有很多的坑存在，最后查找了很多资料，踩了很多坑整理出这篇文档，有问题的可以在评论区讨论。 本文已在docker上实践成功，基
使用FFmpeg-Gl-Transition打造惊艳视频转场效果
gitblog_00083的博客
04-15 1391
使用FFmpeg-Gl-Transition打造惊艳视频转场效果 去发现同类优质开源项目:https://gitcode.com/ 是一个开源项目，它为FFmpeg提供了一种利用GPU加速的OpenGL视频过渡效果。此项目的目标是让开发者能够轻松地在不同的视频片段之间创建出流畅、高性能的转场特效。 技术解析 该项目基于FFmpeg，这是一个强大的跨平台命令行工具，用于处理各种音频和视频文件。FFm...
ffmpeg 视频过度滤镜 gltransition
weixin_33725239的博客
05-20 4605
ffmpeg 视频过度滤镜 gltransition 上次随笔中提到的 ffmpeg-concat 可以处理视频过度，但是缺点是临时文件超大。 经过查找 ffmpeg 还有 gltransition 滤镜，但是 ffmpeg 的正式版中还没有加进去。 github 上有 ffmpeg-gl-transition 项目，有详细的添加滤镜的说明，参见以下地址 https://githu...
ffmpeg-gl-transition
12-18
ffmpeg-gl-transition
ffmpeg-concat：使用ffmpeg和性感的OpenGL过渡将视频列表合并在一起
02-03
通过此模块和CLI，可以轻松使用gl-transition将视频合并在一起。 安装 该模块需要安装 。 npm install --save ffmpeg-concat # or if you want to use the CLI npm install -g ffmpeg-concat 该软件包可在Linux，...
android ffmpeg视频特效-frei0r、视频编辑、图片编辑，支持x264/x265/xfade/frei0r
02-16
FFmpeg支持各种编码解码器，如x264和x265，同时也提供了丰富的视频编辑功能，包括应用视频特效。本篇文章将深入探讨FFmpeg在Android中的应用，特别是与frei0r视频特效、视频编辑和图片编辑相关的知识点。 首先，...
基于ffmpeg4.3.1编译的android动态库--开启了openssl(支持https)
07-10
ffmpeg版本4.3.1，openssl版本1.1.1i, android cup架构支持armeabi-v7a，arm64-v8a，x86，x86_64，ffmpeg和openssl都是基于Android API level 21编译的。自测播放本地视频文件，http视频文件和https视频文件均可正常...
【FFMPEG】Install FFmpeg CUDA gltransition in Ubuntu
最新发布
个人笔记仅供本人查阅参考
09-05 538
FFMPEG gltranlations CUDA
ffmpeg 各种视频特效 | 教程
weixin_45665943的博客
07-18 2988
ffmpeg实用各种功能
FFmpeg Ubuntu 20.04 编译
yinshipin007的博客
07-18 697
FFmpeg 编译最佳的做法当然是参考官方文档，官方文档的指导最权威可行了。但还是需要一点小技巧才行。编译环境：Ubuntu 20.04官方文档指出安装是非侵入性的，将在主目录（home）中创建几个目录:ffmpeg_sources——源文件将在这里下载。如果需要，可以在完成编译时删除。ffmpeg_build——在这里构建文件并安装库。如果需要，可以在完成编译时删除。bin——在这里安装二进制文件（ffmpeg, ffplay, ffprobe, x264, x265）。
【gl-transitions配置】原项目dockerfile修改，为视频添加转场效果
j_starry的博客
08-02 1118
配置gl-transitions的docker环境，生成视频转场
ERROR: Could not build wheels for opencv-python which use PEP 517 and cannot be installed directly
05-12
这个错误可能是由于缺少一些依赖关系导致的，你可以尝试以下几种方法来解决这个问题： 1. 确保你的 pip 版本是最新的，可以使用以下命令更新 pip： ``` pip install --upgrade pip ``` 2. 确保你的 setuptools 版本是最新的，可以使用以下命令更新 setuptools： ``` pip install --upgrade setuptools ``` 3. 安装一些缺少的依赖关系，例如： ``` sudo apt-get install libgl1-mesa-glx ``` 4. 如果你使用的是虚拟环境，请激活该环境后再安装 opencv-python： ``` source /path/to/venv/bin/activate pip install opencv-python ``` 如果以上方法都不能解决问题，你可以尝试重新安装 opencv-python，或者查看 opencv-python 的官方文档寻找解决方案。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值