hadoop 安装:
环境:
- centos 6.5
- jdk 1.8
- hadoop 2.6.5
基础设施:
- 设置网络:
设置IP
* 看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址
* (配置完后启动网络服务 service network restart
* 如果是克隆出来的虚拟机需要删除 /etc/udev/rules.d/70-persistent-net.rules 这个文件 后reboot重启)
修改文件: vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
#HWADDR=00:0C:29:42:15:C2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static 设置静态ip
IPADDR=192.168.150.11
NETMASK=255.255.255.0
GATEWAY=192.168.150.2
DNS1=223.5.5.5
DNS2=114.114.114.114
- 设置主机名
vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node01
- 设置本机的ip到主机名的映射关系
vi /etc/hosts
192.168.150.11 node01
192.168.150.12 node02
- 关闭防火墙
service iptables stop chkconfig iptables off
- 关闭 selinux
vi /etc/selinux/config
SELINUX=disabled
- 做时间同步
.yum install ntp -y vi /etc/ntp.conf server ntp1.aliyun.com service ntpd start chkconfig ntpd on
安装JDK
rpm -i jdk-8u181-linux-x64.rpm
1.配置环境变量:
vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
加载配置文件
source /etc/profile
ssh免密
看官网:[http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html]
Hadoop的配置
- 规划路径:
mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata/
hadoop的部署目录:
/opt/bigdata/hadoop-2.6.5
2.配置hadoop的配置文件
vi /etc/profile 修改配置文件(环境变量文件的位置)
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile **(修改完配置文件一定要重新加载)**
Hadoop的角色配置
看官网:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html