大数据Hadoop
MR.ILen
自信,幽默,有信心的IT人!
展开
-
Hadoop_HDFS:跨集群数据迁移
一、迁移之前需要考虑的事情 1、迁移总数据量有多少? 2、新老集群之间的带宽有多少?能否全部用完?为了减少对线上其他业务的影响最多可使用多少带宽? 3、如何限制迁移过程中使用的带宽? 4、迁移过程中,哪些文件可能发生删除,新增数据的情况?哪些目录可能会发生新增文件的情况? 5、迁移后的数据一致性校验怎么做? 6、迁移后的HDFS文件权限如何跟老集群保持一致? 二、迁移方案 1、迁移数据量评估...原创 2019-11-28 16:45:11 · 436 阅读 · 0 评论 -
Hadoop_之_HDFS常用命令(一)
HDFS文件操作常用命令 (1)列出HDFS下的文件 hadoop dfs -ls <目录> (2)上传文件 将Linux系统本地文件上传到HDFS中 hadoop dfs -put <本地文件><HDFS文件> (3)下载文件 将HDFS中的文件下载到Linux系统本地目录 hadoop dfs -get&l...原创 2019-11-24 20:28:31 · 202 阅读 · 0 评论