hadoop
flyzer0
这个作者很懒,什么都没留下…
展开
-
docker 部署 hadoop及spark集群
1.版本信息: Linux版本:16.04 docker:18.06.1 hadoop:2.7.6 spark:2.2 2.docker安装 该部分内容可参考https://blog.csdn.net/bingzhongdehuoyan/article/details/79411479 3.构建镜像 该部分内容请参考https://github.com/flyzer0/spark ...原创 2018-09-10 18:34:56 · 876 阅读 · 0 评论 -
docker部署hadoop+ffmpeg分布式转码系统
本系统应用程序部分是基于此项目,也非常感谢这位大神修复了项目中的部分bug。 公司最近需要做一个分布式转码系统,百度之后发现使用hadoop+ffmpeg的人居多,因此决定使用上面提到的项目实现分布式转码的功能。该项目包含两个程序:TranscoderClient和TranscoderMR,其中TranscoderClient对视频文件进行切片,并将切片文件上传至HDFS,而后在集群中调起Tra...原创 2018-10-23 10:11:14 · 2093 阅读 · 2 评论