hadoop问题

Hadoop是什么

1. Hadoop是一个由Apache基金会锁开发的分布式系统基础架构
2. 主要解决:海量数据的存储和海量数据的分析计算问题
3. 广义上来说，hadoop通常是指一个更广泛的概念-hadoop生态圈

Hadoop集群出现namenode丢失问题时

（原始数据会丢失，除非自行备份过，格式化你懂得）

1. 停止一些hadoop服务（hdfs、yarn等）
2. 删除所有服务器上的data文件夹
3. 删除所有服务器上的logs文件夹
4. 格式化hdfs namenode -format

常用的配置文件：

Hadoop3.x
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers

Hadoop2.x
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

常用端口

Hadoop3.x
HDFS NameNode 内部通常端口：8020/9000/9820
HDFS NameNode 对用户的查询端口：9870
Yarn查看任务运行情况：8088
历史服务器：19888

Hadoop2.x
HDFS NameNode 内部通常端口：8020/9000
HDFS NameNode 对用户的查询端口：50070
Yarn查看任务运行情况：8088
历史服务器：19888