hadoop classpath_hadoop配置文件

1.集群配置

（1）核心配置文件

配置core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

（2）HDFS配置文件

配置hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

（3）YARN配置文件

配置yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>

（4）MapReduce配置文件

配置mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>

（5）DataNode/配置

配置workers

hadoop102
hadoop103
hadoop104

（6）黑、白名单配置

白名单：集群只允许白名单上的主机工作，不在白名单上的都会被退出

黑名单：添加到黑名单的主机都不允许再访问NN,会等数据迁移后退出

步骤：

1. 增加白名单的配置文件whitelist添加要工作的主机名。
2. 在需要退役主机时把需要退役的主机名添加到配置文件blacklist下就完成了主机的退役

2.常用脚本

（1）xsync集群分发脚本

#!/bin/bash

（2） 查看三台服务器java进程脚本：jpsall

#!/bin/bash

（3） hadoop集群启停脚本（包含hdfs，yarn，historyserver）：myhadoop.sh

#!/bin/bash