CentOS7环境下伪分布式安装配置hadoop

(一) 设置静态IP地址

cd /etc/sysconfig/network-scripts
vim ifcfg-ens33

• 修改IPADDR,NETMASK,GATEWAY为对应的值
• 修改BOOTPROTO为none
• 保存并退出
• 重启网卡

service network restart

---

(二) 修改主机名

vim /etc/hosts

• 添加静态ip地址及要修改的主机名

vim /etc/hostname

• 添加要修改的主机名
• 重启Linux

---

(三) 设置ssh免密登录

cd ~/.ssh

若提示没有此目录则先手动执行一次

ssh 本机主机名

再进行切换目录

ssh-keygen -t rsa
ssh-copy-id 本机主机名或者ip地址

输入yes并输入密码
任意目录下执行命令

ssh 本机主机名ip地址

检查是否能直接登录

---

(四) 解压安装包

在要安装的目录下解压jdk,hadoop

tar -zxvf 安装包位置

---

(五) 配置环境变量

vim /etc/profile

添加以下内容

JAVA_HOME=jdk目录
HADOOP_HOME=hadoop目录
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 保存并退出
• 刷新配置文件

source /etc/profile

• 测试jdk 在任意目录下执行javac命令,检查配置是否成功

---

(六) 配置hadoop文件

• 切换到$HADOOP_HOME目录下
• 创建hdfs目录并在其目录下分别创建name和data两个目录
• 切换到$HADOOP_HOME/etc/hadoop目录下

vim hadoop-env.sh

• 修改JAVA_HOME值为jdk所在目录

---

• 再分别修改其余四个配置文件,在每个文件<configuration></configuration>标签中对应添加如下内容
• 每个文件名对应下的xml为添加内容,其中涉及到ip地址的部分填自己本机设置的ip地址
• 分别修改 core-site.xml hdfs-site.xml mapred-site.xml(需要先将mapred-site.xml.template改为此名) yarn-site.xml

core-site.xml

<property>
	<name>fs.default.name</name>
	<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/simple/hadoop-2.4.1/tmp</value>
</property>

hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.name.dir</name>
	<value>/simple/hadoop-2.4.1/hdfs/name</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>

mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

yarn-site.xml

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>169.254.25.128</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

(七) 格式化namenode和启动hadoop

• 格式化namenode

hdfs namenode -format

• 格式化完成后启动hadoop

start-all.sh

(
或分别启动

start-dfs.sh
start-yarn.sh

)

• 启动完成后,在任意目录下执行jps命令验证进程是否正常启动

---

(八) 测试hdfs和yarn

• 在linux的浏览器中输入:

169.254.25.128:50070

• 进入HDFS管理页面,ip地址为本机ip地址,端口不变

169.254.25.128:8088

• 进入MR管理页面,ip地址为本机ip地址,端口不变