hdfs 之间 文件夹数据同步——来自我的QQ空间

hadoop distcp hdfs://pc1:8020/user/uar/receive/click/ （文件夹） hdfs://pc4:8020/user/uar/receive/click/（文件夹） 如果是同步文件，把文件夹换文件就好了  18/10/30 16:23:01 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false, syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[hdfs://10.30.5.80:8020/user/uar/receive/click], targetPath=hdfs://10.30.5.83:8020/user/uar/receive/click, targetPathExists=false, preserveRawXattrs=false} 18/10/30 16:23:01 INFO impl.TimelineClientImpl: Timeline service address: http://dev-bdp-node-03:8188/ws/v1/timeline/ 18/10/30 16:23:01 INFO client.RMProxy: Connecting to ResourceManager at dev-bdp-node-03/10.30.5.82:8050 18/10/30 16:23:02 INFO impl.TimelineClientImpl: Timeline service address: http://dev-bdp-node-03:8188/ws/v1/timeline/ 18/10/30 16:23:02 INFO client.RMProxy: Connecting to ResourceManager at dev-bdp-node-03/10.30.5.82:8050 18/10/30 16:23:03 INFO mapreduce.JobSubmitter: number of splits:2 18/10/30 16:23:03 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1537237069924_2182 18/10/30 16:23:03 INFO impl.YarnClientImpl: Submitted application application_1537237069924_2182 18/10/30 16:23:03 INFO mapreduce.Job: The url to track the job: http://dev-bdp-node-03:8088/proxy/application_1537237069924_2182/ 18/10/30 16:23:03 INFO tools.DistCp: DistCp job-id: job_1537237069924_2182 18/10/30 16:23:03 INFO mapreduce.Job: Running job: job_1537237069924_2182 18/10/30 16:23:38 INFO mapreduce.Job: Job job_1537237069924_2182 running in uber mode : false 18/10/30 16:23:38 INFO mapreduce.Job:  map 0% reduce 0% 18/10/30 16:23:44 INFO mapreduce.Job:  map 100% reduce 0% 18/10/30 16:23:44 INFO mapreduce.Job: Job job_1537237069924_2182 completed successfully 18/10/30 16:23:45 INFO mapreduce.Job: Counters: 33 File System Counters FILE: Number of bytes read=0 FILE: Number of bytes written=272846 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=4590 HDFS: Number of bytes written=3711 HDFS: Number of read operations=28 HDFS: Number of large read operations=0 HDFS: Number of write operations=7 Job Counters  Launched map tasks=2 Other local map tasks=2 Total time spent by all maps in occupied slots (ms)=6661 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=6661 Total vcore-seconds taken by all map tasks=6661 Total megabyte-seconds taken by all map tasks=6820864 Map-Reduce Framework Map input records=2 Map output records=0 Input split bytes=230 Spilled Records=0 Failed Shuffles=0 Merged Map outputs=0 GC time elapsed (ms)=540 CPU time spent (ms)=1310 Physical memory (bytes) snapshot=427872256 Virtual memory (bytes) snapshot=7511072768 Total committed heap usage (bytes)=371720192 File Input Format Counters  Bytes Read=649 File Output Format Counters  Bytes Written=0 org.apache.hadoop.tools.mapred.CopyMapper$Counter BYTESCOPIED=3711 BYTESEXPECTED=3711 COPY=2 标识 描述 备注 -p[rbugp] Preserve   r: replication number   b: block size   u: user   g: group   p: permission 修改次数不会被保留。并且当指定 -update 时，更新的状态不会 被同步，除非文件大小不同（比如文件被重新创建）。 -i 忽略失败 就像在 附录中提到的，这个选项会比默认情况提供关于拷贝的更精确的统计， 同时它还将保留失败拷贝操作的日志，这些日志信息可以用于调试。最后，如果一个map失败了，但并没完成所有分块任务的尝试，这不会导致整个作业的失败。 -log <logdir> 记录日志到 <logdir> DistCp为每个文件的每次尝试拷贝操作都记录日志，并把日志作为map的输出。 如果一个map失败了，当重新执行时这个日志不会被保留。 -m <num_maps> 同时拷贝的最大数目 指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大。 -overwrite 覆盖目标 如果一个map失败并且没有使用-i选项，不仅仅那些拷贝失败的文件，这个分块任务中的所有文件都会被重新拷贝。 就像下面提到的，它会改变生成目标路径的语义，所以 用户要小心使用这个选项。 -update 如果源和目标的大小不一样则进行覆盖 像之前提到的，这不是"同步"操作。 执行覆盖的唯一标准是源文件和目标文件大小是否相同；如果不同，则源文件替换目标文件。 像 下面提到的，它也改变生成目标路径的语义， 用户使用要小心。 -f <urilist_uri> 使用<urilist_uri> 作为源文件列表 这等价于把所有文件名列在命令行中。 urilist_uri 列表应该是完整合法的URI。