本地Hadoop集群部署教程
配置时间同步(一定要做,亲身体验过时间不同步的伤)
- 使用
date
命令查看系统当前时间,以保证所有节点的时间一致 - 若不一致使用时间同步,试用以下方法进行时间同步
crontab -e ##创建定时任务
配置主机名
chmod a+w /etc/sysconfig/network ##可有可无
vim /etc/sysconfig/network ##分别在两台主机修改配置文件如下图
hostname master ## 临时修改主机名为master
hostname slave ## 临时修改主机名为slave
配置Hosts列表
vim /etc/hosts
在hosts配置文件里添加如下
安装JDK
首先查看jdk版本
java --version
配置免密登录
- 输入命令:ssh-keygen -t rsa,然后一直回车回车…
- 输入ssh-copy-id whzy@slave将秘钥拷贝到另一台主机
- ssh登录验证
配置Hadoop
hadoop集群每个节点的配置都需要一致,所以我们可以在一个节点配置为再发送到其他节点
0.解压Hadoop包
在~/目录下解压hadoop-2.7.3.tar.gz
tar -xvf hadoop-2.7.3.tara.gz
1.配置环境变量hadoop-env.sh
vim etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_161 ##搜索并修改此行
2.配置环境变量yarn-env.sh
vim /home/whzy/hadoop.2.7.3/etc/hadoop/yarn-env.sh
export JAVA_HOME=/y/libexec/jdk1.8.0_161 ##替换为下面
export JAVA_HOME=/usr/java/jdk1.8.0_161
3.配置核心组件core-site.xml
vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>