安装版本
操作系统:CentOS7 64位
IP地址:192.168.43.61
Hadoop版本:2.7.3
JDK版本:OpenJDK 1.8 64位
OpenJDK安装
使用yum安装OpenJDK1.8,参看博客:Linux下OpenJDK安装
安装完毕后要配置好环境变量,这里设置全局的环境变量,即修改 /etc/profile 文件
环境准备
- 关闭防火墙并设置开机禁用(单机版通常是学习用的,因此这里直接简单粗暴将防火墙关闭)
systemctl stop firewalld.service systemctl disable firewalld.service
- 配置hosts
vim /etc/hosts #输入如下内容 192.168.43.61 hmaster
- 创建hadoop用户并设置密码(这里设置为hadoop/123456)
useradd hadoop passwd hadoop
- 查看是否安装了ssh客户端,若未安装,则必须先安装
# 查看是否安装ssh客户端 rpm -qa|grep ssh # 安装ssh客户端命令 yum install openssh-clients.x86_64
- 校验ssh登录
ssh localhost
hadoop安装
- 下载 hadoop-2.7.3.tar.gz,下载地址:https://archive.apache.org/dist/hadoop/common/
- 切换到hadoop用户,将hadoop-2.7.3.tar.gz上传、解压、配置环境变量
su hadoop cd /home/hadoop tar -zxvf hadoop-2.7.3.tar.gz su root vim /etc/profile # 输入如下内容后保存 export HADOOP_HOME=/home/hadoop/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
- 配置hadoop运行环境文件 hadoop-env.sh
su hadoop vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh # 指定java主目录 export JAVA_HOME=/usr/lib/jvm/java-1.8.0
- 配置 core-site.xml
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml <!-- 输入如下内容 --> <configuration> <!-- NameNode位置 --> <property> <name>fs.defaultFS</name> <value>hdfs://hmaster:9000</value> </property> <!-- 临时目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.7.3/tmp</vaue> </property> </configuration>
- 配置 hdfs-site.xml
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml <!-- 输入如下内容 --> <configuration> <!-- hdfs副本数 --> <property> <name>dfs.replication</name> <value>1<value> </property> </configuration>
- 配置 mapred-site.xml
cp /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml vim /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml <!-- 输入如下内容 --> <configuration> <!-- 设置MapReduce运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- 配置 hdfs-site.xml
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml <!-- 输入如下内容 --> <configuration> <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hmaster</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
- 格式化NameNode
su hadoop hdfs namenode -format
- 免密登录
su hadoop ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
- 启动
start-all.sh
验证
查看进程号:jps
访问NameNode:http://192.168.43.61:8088
访问hdfs:http://192.168.43.61:50070