JAVACV+ffmpeg+OpenCV实现视频叠加合成(AR效果视频生成)

同时抓取两个视频的帧,在叠加合并时进行一些图像处理,并将合并后的帧写入输出文件,最后释放资源。

具体实现步骤:

  1. 准备工作

    • 导入所需的库,这里主要是 OpenCV 和 JavaCV 相关的库。
    • 创建一个 OpenCVFrameConverter.ToIplImage 对象 converter,它用于将 JavaCV 帧转换为 OpenCV 的 IplImage 对象。
  2. 设置视频抓取器

    • 创建两个 FFmpegFrameGrabber 对象,分别用于原始视频文件和待合并的视频文件。
    • 设置连接超时时间和读取数据超时时间。
    • 启动两个抓取器并获取视频的长度(单位:微秒),用于后续的处理。
  3. 设置视频参数

    • 检查并调整两个视频的帧率,确保它们相同。
    • 设置输出视频的宽度和高度。
    • 计算视频的宽高比例,并计算目标高度。
  4. 设置临时文件和输出文件

    • 获取系统临时文件目录,创建临时文件对象。
    • 设置输出文件路径,并准备好文件名。
  5. 设置录制器参数

    • 创建一个 FFmpegFrameRecorder 对象,用于录制合并后的视频。
    • 设置输出编码器、音频采样率、帧率、视频比特率、视频编码器等参数。
  6. 抓取和处理视频帧

    • 循环抓取原始视频的帧,同时抓取待合并视频的帧。
    • 如果当前帧是图像帧,则进行叠加处理:
      • 将 JavaCV 帧转换为 OpenCV 的 Mat 对象,进行图像边界处理。
      • 将 JavaCV 帧转换为 BufferedImage,并创建 Graphics2D 对象。
      • 抓取待合并视频的帧,进行相应处理。
      • 将待合并视频的帧叠加到当前帧上,并写入输出文件。
    • 如果当前帧包含音频,则也将音频写入输出文件。
  7. 释放资源

    • 停止并释放所有的抓取器和录制器。
    • 关闭颜色转换过滤器。
                 OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();
      
                  System.out.println(mergeFilePath);
                  FFmpegFrameGrabber frameGrabber1 = new FFmpegFrameGrabber(file);
                  FFmpegFrameGrabber frameGrabber2 = new FFmpegFrameGrabber(mergeFilePath);
                  frameGrabber2.setOption("timeout", "5000000"); // 设置连接超时时间
                  frameGrabber2.setOption("stimeout", "20000000"); // 设置读取数据超时时间
                  Frame frame = null;
                  Frame  mergeFrame1= null;
                  Frame mergeFrame = null;
                  FFmpegFrameRecorder recorder = null;
                  String fileName = null;
                  try {
                      frameGrabber1.start();
                      frameGrabber2.start();
                      int videoLengthInSeconds = (int) (frameGrabber1.getLengthInTime() / 1000000);
                      int videoLengthInSeconds2 = (int) (frameGrabber2.getLengthInTime() / 1000000);
                      System.out.println("秒数"+videoLengthInSeconds+"-----------"+videoLengthInSeconds2);
                      System.out.println(frameGrabber1.getImageWidth()+"11111111111111"+frameGrabber1.getImageHeight());
      
      
                      double frameRate = frameGrabber2.getFrameRate();
                      if (frameRate != frameGrabber1.getFrameRate()) {
                          frameGrabber1.setFrameRate(frameRate);
                      }
                      frameGrabber2.setFrameRate(24);
                      frameGrabber1.setFrameRate(24);
      // 计算两个视频的长度(单位:秒)
                      // 设置帧率
      
                      frameGrabber1.setImageWidth(1080);
                      frameGrabber1.setImageHeight(1920);
                      int outputWidth = 1080; // 合成后视频的宽度
                      int outputHeight = 1920;
                      // 根据视频的宽高比例计算目标高度
                      double videoRatio1 = (double) frameGrabber1.getImageWidth() / frameGrabber1.getImageHeight();
                      double videoRatio2 = (double) frameGrabber2.getImageWidth() / frameGrabber2.getImageHeight();
                      // 获取图像宽和高
                      int imageWidth = outputWidth;
                      int imageHeight = outputHeight;
                      int imageWidth1 = frameGrabber2.getImageWidth();;
                      int imageHeight1 = frameGrabber2.getImageHeight();
                      long sourceVideoDuration = frameGrabber1.getLengthInTime();
                      long mergeVideoDuration = frameGrabber2.getLengthInTime();
                      FFmpegFrameFilter colorConvertFilter = new FFmpegFrameFilter("format=rgb24", imageWidth, imageHeight);
                      colorConvertFilter.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
                      colorConvertFilter.start();
                      FFmpegFrameFilter filter = new FFmpegFrameFilter("colorkey=black", imageWidth1, imageHeight1);
                      filter.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
                      filter.start();
                      // 设置时间戳,确保两个视频的起始点一致
                      // 随机生成一个新的文件名
                      Random random = new Random();
                      long name1 = System.currentTimeMillis() + RandomUtils.nextInt(100, 9999);
      
                      // 获取系统默认的临时文件目录
                      String tempDir = System.getProperty("java.io.tmpdir");
                      // 创建临时文件对象8
                      File tempFile = new File(tempDir);
                      String path =  tempFile.getAbsolutePath();
      
      
      
                      fileName = path +File.separator+ String.valueOf(name1) + ".mp4";
                      ajaxResult.put("fileUrl", domainName + String.valueOf(name1) + ".mp4");
                      ajaxResult.put("filePath",fileName);
                      System.out.println("--文件名-->>" + fileName);
                      // 设置输出编码器、音频采样率、帧率、时间戳、视频比特率、视频编码器
      // 创建临时文件流记录器,将输出流作为参数传入
                      recorder = new FFmpegFrameRecorder(fileName, imageWidth, imageHeight, frameGrabber1.getAudioChannels());
                      recorder.setFormat("mp4");
                      recorder.setSampleRate(frameGrabber1.getSampleRate());
                      recorder.setVideoBitrate(frameGrabber1.getVideoBitrate());
                      recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
                      recorder.setFrameRate(24);
                      recorder.setTimestamp(frameGrabber2.getTimestamp());
      
      
                      // 启动录制器和另一个视频的抓取器
                      frameGrabber2.setVideoCodec(avcodec.AV_CODEC_ID_H264);
      
                      frameGrabber2.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
      
                      frameGrabber2.setVideoBitrate(frameGrabber1.getVideoCodec());
                      frameGrabber2.setFrameRate(frameGrabber1.getVideoCodec());
                      recorder.start();
                      int index = 0;
                      // 获取视频的总帧数
                      int totalFrameCount = frameGrabber2.getLengthInFrames();
                      System.out.println("视频总帧数:" + totalFrameCount);
                      int totalFrameCount1 = frameGrabber1.getLengthInFrames();
                      System.out.println("视频总帧数:" + totalFrameCount1);
      
      
                      int xum =700;
                      while (index < 500) {
      
                          // 抓取当前视频的一帧
                          frame = frameGrabber1.grabFrame();
                          if (frame == null) {
                              break;
                          }
      
      
                          // 如果当前帧是图像,则进行叠加
                          if (frame.image != null) {
                              // 将JavaCV帧转换为OpenCV的Mat对象,方便后续处理颜色通道
                              Mat mat = converter.convertToMat(frame);
                              // 进行图像边界处理,例如裁剪掉边界黑线条
                              // 将JavaCV帧转换为BufferedImage,并创建Graphics2D对象
                              BufferedImage buffImg = Java2DFrameUtils.toBufferedImage(frame);
                              Graphics2D graphics = buffImg.createGraphics();
                              // 抓取另一个视频的一帧
                              mergeFrame1 = frameGrabber2.grabFrame();
                              if(mergeFrame1!=null){
                                  Mat mat1 = converter.convertToMat(mergeFrame1);
                                  int borderSize = 1;
                                  mat1 = mat1.apply(new Rect(borderSize, borderSize, mat1.cols() - 2 * borderSize, mat1.rows() - 2 * borderSize));
                                  // 将处理后的 Mat 对象转换回帧对象
                                  mergeFrame = converter.convert(mat1);
                              }
                              frameGrabber2.setImageMode(FrameGrabber.ImageMode.COLOR);
      
                              if (mergeFrame != null) {
                                  // 如果当前帧是空帧,则一直循环直到抓取到带图像的帧
                                  while (mergeFrame.image == null) {
                                      mergeFrame = frameGrabber2.grabFrame();
                                      frameGrabber2.setImageMode(FrameGrabber.ImageMode.COLOR);
                                  }
      
                                  // 进行颜色空间转换(例如,将图像从BGR转换为RGB)
      //                        cvtColor(mat, mat, COLOR_BGR2RGB);
                                  // 判断颜色空间是否需要转换
      //                        if (mat.channels() > 1) {
      //                            cvtColor(mat, mat, COLOR_BGR2RGB);
      //                        }
                                  // 将另一个视频的帧应用颜色过滤器,并将结果转换为BufferedImage
                                  filter.push(mergeFrame);
                                  Frame filteredFrame = filter.pullImage();
                                  BufferedImage mergeBuffer = Java2DFrameUtils.toBufferedImage(filteredFrame);
                                  // 进行颜色空间转换(例如,将图像从BGR转换为RGB
                                  //                       cvtColor(converter.convertToMat(filteredFrame), converter.convertToMat(filteredFrame), COLOR_BGR2RGB);
                                  // 进行直方图均衡化或颜色映射等处理(根据具体需求进行选择和调整)
                                  // 将另一个视频的帧叠加到当前帧上
                                  graphics.drawImage(mergeBuffer, 0, 0, outputWidth, outputHeight, null);
      //                        graphics.drawImage(mergeBuffer, 0, 0, frameGrabber1.getImageWidth(), frameGrabber1.getImageHeight(), null);
                              }else {
                                  break;
                              }
                              // 将叠加后的JavaCV帧写入输出文件
                              Frame newFrame = Java2DFrameUtils.toFrame(buffImg);
                              recorder.record(newFrame);
                          }
                          // 如果当前帧包含音频,则将其写入输出文件
                          if (frame.samples != null) {
                              recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
                          }
                          if(mergeFrame1 != null){
                              if (mergeFrame1.samples != null) {
                                  recorder.recordSamples(mergeFrame1.sampleRate, mergeFrame1.audioChannels, mergeFrame1.samples);
                              }
                          }
      
                          System.out.println("帧值=" + index);
                          index++;
                      }
                      // 停止并释放资源
                      recorder.stop();
                      recorder.release();
                      filter.stop();
                      colorConvertFilter.stop();
                      frameGrabber2.stop();
                      frameGrabber1.stop();
      
      //在业务侧写代码时记得处理掉这个临时文件
      //            if (file!=null){
      //                file.deleteOnExit();
      //            }
                  } catch (Exception e) {
                      e.printStackTrace();
                  }
      
              <dependency>
                  <groupId>org.bytedeco</groupId>
                  <artifactId>javacv</artifactId>
                  <version>1.5.2</version>
              </dependency>
              <dependency>
                  <groupId>org.bytedeco</groupId>
                  <artifactId>javacpp</artifactId>
                  <version>1.5.2</version>
              </dependency>
      
              <dependency>
                  <groupId>org.bytedeco</groupId>
                  <artifactId>opencv</artifactId>
                  <version>4.1.2-1.5.2</version>
                  <classifier>windows-x86_64</classifier>
              </dependency>
              <dependency>
                  <groupId>org.bytedeco</groupId>
                  <artifactId>openblas</artifactId>
                  <version>0.3.7-1.5.2</version>
                  <classifier>windows-x86_64</classifier>
              </dependency>
              <dependency>
                  <groupId>org.bytedeco</groupId>
                  <artifactId>ffmpeg</artifactId>
                  <version>4.2.1-1.5.2</version>
                  <classifier>windows-x86_64</classifier>
              </dependency>
      
              <dependency>
                          <groupId>org.bytedeco</groupId>
                          <artifactId>opencv</artifactId>
                          <version>4.1.2-1.5.2</version>
                          <classifier>linux-x86_64</classifier>
                      </dependency>
                      <dependency>
                          <groupId>org.bytedeco</groupId>
                          <artifactId>openblas</artifactId>
                          <version>0.3.7-1.5.2</version>
                          <classifier>linux-x86_64</classifier>
                      </dependency>
                      <dependency>
                          <groupId>org.bytedeco</groupId>
                          <artifactId>ffmpeg</artifactId>
                          <version>4.2.1-1.5.2</version>
                          <classifier>linux-x86_64</classifier>
                      </dependency>
      

  • 9
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值