1 linux脚本从hdfs---》本地服务器--zip md5加密----》ftp服务器
上传ftp速度20G用了9min,但是从hadoop将文件放到本地并加密1个多小时
2考虑换种方式,直接hdfs--->ftp 用流的方式实现
3 使用spark读取hdfs,然后指定写到ftp
目前只有方式一实现了
1 linux脚本从hdfs---》本地服务器--zip md5加密----》ftp服务器
上传ftp速度20G用了9min,但是从hadoop将文件放到本地并加密1个多小时
2考虑换种方式,直接hdfs--->ftp 用流的方式实现
3 使用spark读取hdfs,然后指定写到ftp
目前只有方式一实现了