系统centos7
1、安装jdk
1)下载jdk
(1)下载地址
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
(2)安装lrzsz
yum install -y lrzsz
上传安装包
rz
(3)解压安装包
tar -zxvf jdk-8u25-linux-x64.tar.gz
2)配置环境变量
vim /etc/profile
加入下面的配置
export JAVA_HOME=/home/hadoop/jdk1.8.0_25/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
让配置生效
source /etc/profile
3)查看jdk版本
java -version
2、配置centos地址
1)查看hostname
hostname
2)修改主机名称
hostnamectl set-hostname master
3)为每个服务器设置地址,vi /etc/hosts
配置(有几个服务器设置几个服务器 ip为外网地址)
重启网络,即可生效
/etc/init.d/network restart
3、远程无密码连接
生成秘钥
ssh-keygen -t rsa
复制到公共秘钥中
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
测试是否配置好
修改权限
chmod 600 /root/.ssh/authorized_keys
启动 ssh
systemctl start sshd.service
查看状态
systemctl restart sshd.service
开机自启动
systemctl enable sshd.service
4、安装hadoop
1)下载hadoop
下载地址
http://mirrors.hust.edu.cn/apache/hadoop/common
2) 安装lrzsz
yum installl -y lrzsz
上传安装包
rz
解压安装包
tar -zxvf hadoop-2.7.1_64bit.tar.gz
3) 配置环境变量
vim /etc/profile
加入下面的配置
export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
让配置生效
source /etc/profile
4) 查看hadoop版本
hadoop version
5、配置hadoop
cd /home/hadoop/hadoop-2.7.1/etc/hadoop
1)配置hadoop-env.sh
vim hadoop-env.sh
配置
export JAVA_HOME=/home/hadoop/jdk1.8.0_25
2)配置yarn-env.sh
vim yarn-env.sh
3) 配置core-site.xml
创建零时目录
mkdir -p /home/hadoop/tmp
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
开始配置
4)配置hdfs-site.xml
指定MapReduce运行在yarn上,配置JobTracker的地址和端口
<property>
<name>mapred.job.tracker</name>
<value>slave1:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>slave1:50070</value>
</property>
5)配置yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value> </property> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8089</value>
</property>
6)修改slaves
查找slaves位置
find / -name slaves
进入目录
cd /home/hadoop/hadoop-2.7.1/etc/hadoop
配置slaves
vi slaves
6、启动hadoop
1)格式化namenode
cd /home/hadoop/hadoop-2.7.1/bin
./hdfs namenode -format
2) 报错了,core-site.xml 配置多了个字符
3) 进入core-site.xml修改
4)重新格式化namenode
5)启动集群(在master上面)
cd /home/hadoop/hadoop-2.7.1/sbin
./start-all.sh