Hadoop集群环境部署教程

本地Hadoop集群部署教程

配置时间同步（一定要做，亲身体验过时间不同步的伤）

• 使用date命令查看系统当前时间，以保证所有节点的时间一致
• 若不一致使用时间同步，试用以下方法进行时间同步

crontab -e  ##创建定时任务

配置主机名

chmod a+w /etc/sysconfig/network    ##可有可无
vim /etc/sysconfig/network   ##分别在两台主机修改配置文件如下图
hostname master   	## 临时修改主机名为master
hostname slave 	 ## 临时修改主机名为slave

配置Hosts列表

vim /etc/hosts

在hosts配置文件里添加如下

安装JDK

首先查看jdk版本

java --version

配置免密登录

• 输入命令：ssh-keygen -t rsa，然后一直回车回车…
• 输入ssh-copy-id whzy@slave将秘钥拷贝到另一台主机
• ssh登录验证

配置Hadoop

hadoop集群每个节点的配置都需要一致，所以我们可以在一个节点配置为再发送到其他节点

0.解压Hadoop包

在~/目录下解压hadoop-2.7.3.tar.gz

tar -xvf hadoop-2.7.3.tara.gz

1.配置环境变量hadoop-env.sh

  vim etc/hadoop/hadoop-env.sh
  
  export JAVA_HOME=/usr/java/jdk1.8.0_161	##搜索并修改此行

2.配置环境变量yarn-env.sh

  vim /home/whzy/hadoop.2.7.3/etc/hadoop/yarn-env.sh
  export JAVA_HOME=/y/libexec/jdk1.8.0_161	##替换为下面
  export JAVA_HOME=/usr/java/jdk1.8.0_161

3.配置核心组件core-site.xml

  vim core-site.xml
  
  <configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>