RobertLab

二、Hadoop之常用命令参考文档：Hadoop2.9.1Hadoop3.1.1一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来

一、Hadoop简介Hadoop主要包括下面四个模块Hadoop Common：一些公共类Hadoop Distributed File System：分布式文件存储系统Hadoop YARN：Job与集群资源的管理Hadoop MapReduce：基于YARN的系统，并行处理大数据集合；官网截图如下：hive：将mr程序封装成sql使用，学习成本低；后续用于构建data warehouse；habse：分布式数据库spark：在线计算，效率比mr高，但I