最近在做一个小任务,将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作,在正式开始做之前,首先进行了一段时间的练习,下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏,希望各位网友能够指出。
第二篇:Hive中数据的导入与导出:https://www.cnblogs.com/BlackString/p/10552806.html
第三篇:Hive分区表的导入与导出:https://www.cnblogs.com/BlackString/p/10552901.html
第四篇:跨平台传输方案:https://www.cnblogs.com/BlackString/p/10553010.html
1. 操作指令
该操作的主要步骤是从一个平台的HDFS中拉取数据,然后上传到另一平台的HDFS中。
Hadoop下HDFS的操作指令包括:
1)上传文件:
hadoop fs -copyFromLocal /File
hadoop fs -put File /File(Folder)
前者只能上传文件,后者可以上传文件夹。
2)创建目录:hadoop fs -mkdir /Index
3)删除目录:hadoop fs -rmdir /Index
4)删除文件:hadoop fs /File
5)递归删除:hadoop fs -rmr /FileIndex
6)下载文件:hadoop fs -get /File /SavePath
7)查看文件:hadoop fs -ls /File