Hadoop
心心念念@
新手上路,写的不好,大家不要笑,除非真的忍不住。
展开
-
hdfs下的多个文件合并
我现在需要把如下图所示的HDFS里的part-00000、part-000001/、part-00002、part-00003合并到part-00004hdfs dfs -cat /trajectory/test/data/3-25/part-0000* | hdfs dfs -copyFromLocal - /trajectory/test/data/3-25/part-00004原创 2020-05-09 09:05:42 · 3824 阅读 · 0 评论 -
Hadoop集群(分布式)部署
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节...原创 2019-09-30 23:51:39 · 690 阅读 · 0 评论 -
报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform亲测问题正确解决
配置hadoop执行start-dfs.sh时报错: WARN util.NativeCodeLoader: Unable toload native-hadoop library for your platform… using builtin-java classeswhere applicable或者java.library.path出现问题.解决办法是修改etc/hadoop/ha...原创 2019-10-30 21:44:16 · 865 阅读 · 2 评论