Hadoop入门问题

@[TOC]hadoop

Hadoop入门问题

1、启动HDFS时Cannot set priority of xxxx process 问题
1）重启hadoop102(reboot)
2）删除 data和logs文件夹
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3）删除tmp文件夹
sudo rm -rf /tmp/*
4）重新初始化
hdfs namenode -format
2、集群异常（datanode/namenode没有等）
1）停进程（Hadoop102）
sbin/stop-dfs.sh
2）删除 data和logs文件夹（hadoop102/hadoop103/hadoop104）
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3）开始格式化
hdfs namenode -format
4）启动集群
sbin/start-dfs.sh
3、 集群启动/停止方式总结
1）各个模块分开启动/停止（配置 ssh 是前提）常用
（1）整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
（2）整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
2）各个服务组件逐一启动/停止
（1）分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
4、常用端口号

yarn web 访问页面端口号：8088
yarn 服务端口号：8032
历史服务的服务端口号：10020
5、常用配置文件
3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves