最近遇到一个case，对按照每个小时对数据从A地区的s3数据区搬运到B地区的集群上，整个流程如下：
A地区Amazon S3数据区->B地区Amazon S3数据区->B地区服务器缓存区->B地区HDFS集群。
由于A地区的公网连接不稳定，所以先同步到B地区的Amazon S3数据区在上传到HDFS中。
将B地区服务器缓存区的数据全部hadoop fs -put就可以了，当文件路径和文件名完全相同的时候，不会进行覆盖，而文件路径和文件名不相同的时候才会上传。
当然，如果要强制覆盖也是可以的， 使用如下命令就可以了
hadoop fs -put -f 本地文件 hdfs文件
1211
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
