树莓派集群(分布式FFMPEG转码)

树莓派集群(分布式FFMPEG转码)

前言

  • 关于分布式FFMPEG转码的信息可以看我之前的博客: https://blog.csdn.net/imdyf/article/details/80621009
  • 代码托管在GitHub上: https://github.com/chn-lee-yumi/distributed_ffmpeg_transcoding_cluster
  • 事实上这个集群可以使用不同架构的CPU,你可以用几个树莓派,加几台x86的电脑,它们可以一起工作,这个我们在文章末尾再讲。
  • 我们先使用树莓派来搭建集群。这里有一个树莓派2B,一个树莓派3B。我的电脑是win10,用于烧录系统和配置树莓派。
  • 集群节点角色分三种:控制(一个)、计算(至少一个)、存储(一个)。每个节点可以部署一个或多个角色。我们的角色分配如下:
节点角色
树莓派3B控制、计算、存储
树莓派2B计算

准备工作

  • 首先需要上raspberrypi.org下载最新的树莓派镜像,我这里用raspbian。然后用win32diskimager烧录到TF卡,接着在boot-分区创建一个名为ssh的空文件。现在就可以插到树莓派上开机了。
  • 树莓派开机后,在路由器页面看到树莓派的IP地址,然后用putty进行ssh连接,用户名pi,密码raspberry。
  • 我的树莓派2B的IP地址是:10.1.1.3;树莓派3B的IP地址是:10.1.1.172。
  • 不管哪个节点,进去后都先进行下面这一步:
  • 换国内软件源。我这里用清华大学的源。根据使用说明 https://mirrors.tuna.tsinghua.edu.cn/help/raspbian/ ,执行sudo nano /etc/apt/sources.list并把文件修改成如下内容:
deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
deb-src http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
  • Ctrl+O保存,再按Ctrl+X退出。
  • 然后执行sudo apt-get update进行更新。

树莓派3B配置

存储
  • 集群中,共享存储是十分重要的,所以我们先配置存储
sudo apt-get install nfs-kernel-server
sudo chmod 777 /var/lib/nfs/.etab.lock
sudo chmod 777 /var/lib/nfs
sudo mkdir -p /srv/distributed_ffmpeg_transcoding_shared_files
sudo chmod 777 /srv/distributed_ffmpeg_transcoding_shared_files
mkdir /srv/distributed_ffmpeg_transcoding_shared_files/upload
mkdir /srv/distributed_ffmpeg_transcoding_shared_files/tmp
mkdir /srv/distributed_ffmpeg_transcoding_shared_files/download
  • 运行sudo nano /etc/exports,将文件内容修改成如下:
/srv/distributed_ffmpeg_transcoding_shared_files/upload 10.1.1.3(ro,insecure)
/srv/distributed_ffmpeg_transcoding_shared_files/tmp 10.1.1.3(rw,insecure)
  • 其中10.1.1.3是树莓派2B的IP地址(计算节点)。
  • 假如你有三个计算节点,它们的IP是10.1.1.3-10.1.1.5,可以写成如下形式:
/srv/distributed_ffmpeg_transcoding_shared_files/upload 10.1.1.3(ro,insecure) 10.1.1.4(ro,insecure) 10.1.1.5(ro,insecure)
/srv/distributed_ffmpeg_transcoding_shared_files/tmp 10.1.1.3(rw,insecure) 10.1.1.4(rw,insecure) 10.1.1.5(rw,insecure)
  • 如果存储节点也是计算节点,不需要存储节点写上。因为存储节点不需要挂载NFS。
  • 修改完成后,执行下面这条命令使配置生效:
 exportfs -arv
计算
  • 计算角色配置十分简单,只要执行下面一条命令
sudo apt-get install ffmpeg
控制
  • 首先我们要设置免密码SSH。先执行ssh-keygen -t rsa生成key,期间会让你输入一些参数,我们采用默认参数,直接回车。
  • 结果如下图:
    ssh-keygen 示意图
  • 然后执行下面的命令ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.1.3,将公钥复制到树莓派2B。(10.1.1.3是树莓派2B的IP地址)
  • 期间会问你一些东西,我们先输入yes,回车,然后输入raspberry(输入这个的时候不会有显示),回车。结果如下图:
    ssh-copy-id 示意图
  • 因为树莓派3B也是计算节点,我们也要复制公钥。使用命令ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.1.172,其余操作同上。
  • 如果还有别的节点,修改命令的IP地址为目标节点,再执行这样的命令。
  • 这样免密码SSH就设置好了。接下来我们下载控制脚本,执行如下命令:
wget https://raw.githubusercontent.com/chn-lee-yumi/distributed_ffmpeg_transcoding_cluster/master/dffmpeg.sh
chmod +x dffmpeg.sh
  • 然后我们需要修改控制脚本的配置。执行nano dffmpeg.sh,将配置项部分修改成如下内容:
    配置修改结果图
  • 主要要修改的部分:storage_node的值IP改成存储节点的IP地址,这里是10.1.1.172。compute_node的值改成计算节点的IP地址,这里是10.1.1.172和10.1.1.3。compute_node_weight的值改成各计算节点的权重(性能越好权重应该设置得越大)。我这里将树莓派3B设成48,树莓派2B设成36。
  • 最后,我们还需要安装一个小软件,执行命令sudo apt-get install bc进行安装。

树莓派2B配置

  • 它只有一个计算角色,要配置的东西很少,我们只要安装ffmpeg和挂载共享存储。执行如下命令:
sudo apt-get install ffmpeg
sudo mkdir -p /srv/distributed_ffmpeg_transcoding_shared_files
sudo chmod 777 /srv/distributed_ffmpeg_transcoding_shared_files
mkdir /srv/distributed_ffmpeg_transcoding_shared_files/upload
mkdir /srv/distributed_ffmpeg_transcoding_shared_files/tmp
sudo mount 10.1.1.172:/srv/distributed_ffmpeg_transcoding_shared_files/upload /srv/distributed_ffmpeg_transcoding_shared_files/upload
sudo mount 10.1.1.172:/srv/distributed_ffmpeg_transcoding_shared_files/tmp /srv/distributed_ffmpeg_transcoding_shared_files/tmp
  • 其中10.1.1.172是存储节点(也就是树莓派3B)的IP地址。

测试

  • 测试在控制端进行。首先先下载个测试视频。如果你没有合适的视频,可以用我在网上找的。执行下面的命令进行下载:
wget https://github.com/chn-lee-yumi/distributed_ffmpeg_transcoding_cluster/blob/master/test_video.mp4?raw=true
  • 下载后的文件名后缀不对,我们改一下:mv test_video.mp4?raw=true test_video.mp4
  • 然后我们就可以开始正式测试分布式FFMpeg转码了。执行下面的命令:
 ./dffmpeg.sh test_video.mp4 -c:v mpeg4 -b:v 1M
  • 其中mpeg4是编码格式,1M是视频码率。我们把test_video.mp4转码成mpeg4格式,视频码率为1Mbps。
  • 执行效果如下图:
    执行效果

结束语

  • 在这个过程中发现一个奇怪的bug:ffmpeg还在运行但已经执行了后面的touch语句。会导致最后视频拼接出错。临时解决办法是修改控制脚本配置项的sync_wait_time。该BUG原因不明,但不是因为使用了NFS的问题,因为在存储节点没有使用NFS也会出现此情况。该问题留待解决。
  • 这个集群是可以加入x86的计算机的,只要按照配置步骤,安装ffmpeg,开启免密码ssh,挂载共享存储,在控制脚本加入节点,就可以了。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值