刚刚开始接触Hadoop,发现网上好多安装教程都是适用1.x版本的,但现在都hadoop版本都已经到3.0了,不太适用于一个初学者,查了些资料,看了一些相关视频,才对Hadoop有一个初步了解,简单的配置了Hadoop,我使用的是Hadoop2.7.3,现在将Hadoop的安装配置总结如下:
Hadoop的安装配置(伪分布模式)总共分为三个步骤:
1. 安装Linux(使用CentOS 6.5 64位)
2. 安装JDK(使用jdk-8u101-linux-x64.tar.gz)
3. 安装Hadoop并配置文件(hadoop-2.7.3.tar.gz)
开始之前,还可以使用一些软件,为了便于传输文件:
1. winSCP:用于从windows向linux中传输文件
2. Xshell
使用winSCP将hadoop-2.7.3.tar.gz和jdk-8u101-linux-x64.tar.gz到CentOS中/opt(目录随意)
安装Linux并配置相关项
安装虚拟机和CentOS就不再赘述,为了简单网络连接使用的桥接
修改主机名(为了便于区分和之后配置文件)
# vim /etc/sysconfig/network
NETWORKING=yes修改IP地址,两种方式:
- 第一种:
# setup(CentOS独有的)
Network configuration –> Device configuration —>选择网卡,设置IP地址,网关等
#ifconfig eth0 up(启动eth0网卡)
但是这样,重启后eth0不会自动启动,需要修改配置文件 - 第二种:
#vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0c:29:6e:fa:2d
TYPE=Ethernet
UUID=145ec129-2505-4e64-b97b-24a9bae43fec
ONBOOT=yes #默认自动启动
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.100 #IP地址
NETMASK=255.255.255.0 #掩码
GATEWAY=192.168.1.1 #网关
DNS1=202.106.0.20
IPV6INIT=no
USERCTL=no
退出后更新配置:#source /etc/sysconfig/network-scripts/ifcfg-eth0
- 第一种:
修改主机名和IP的映射关系
# vim /etc/hosts
192.168.1.100 master关闭防火墙
查看防火墙状态
# service iptables status
关闭防火墙
# service iptables stop
查看防火墙开机启动状态
# chkconfig iptables –list
关闭防火墙开机启动
# chkconfig iptables off
安装JDK
- 首先卸载自带的JDK(好像不卸载也没有问题)
#rpm -qa | grep java查看jdk版本
显示如下信息:
jtzdata-java-2013g-1.el6.noarch
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
卸载JDK:
# rpm -e –nodeps tzdata-java-2013g-1.el6.noarch
# rpm -e –nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
# rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 - 解压JDK
# tar -zxvf /opt/jdk-8u101-linux-x64.tar.gz
为了方便,重命名为jdk
# mv jdk-8u101-linux-x64.tar.gz jdk - 将java添加到环境变量中
# vim /etc/profile
在文件最后添加:
export JAVA_HOME=/opt/jdk
e