有时候会将分布式存储的文件进行导出,如果数据量比较小的时候,应该合并内容:
比如:
将上述hadoop目录下的小文件输出
hadoop fs -cat hdfs://ip-172-31-27-212.cn-north-1.compute.internal:8020/user/hive/warehouse/tmp.db/tmp_scalehistoryrecord_p_false/* > ./mytest.txt
当文件比较小的时候可以这样干。
有时候会将分布式存储的文件进行导出,如果数据量比较小的时候,应该合并内容:
比如:
将上述hadoop目录下的小文件输出
hadoop fs -cat hdfs://ip-172-31-27-212.cn-north-1.compute.internal:8020/user/hive/warehouse/tmp.db/tmp_scalehistoryrecord_p_false/* > ./mytest.txt
当文件比较小的时候可以这样干。