Hadoop集群的搭建一是选用商用工具CDH,该工具不必担心各个组件的之间的版本兼容问题,而且配有监控工具(后序介绍)。为了入门或者了解配置文件中各个配置的意思,本文采用传统的搭建方法,建议搜一下各个组件(jdk,hadoop,hive,hbase,zookeeper等之间的版本兼容关系,选择最合适的版本),本文选用jdk1.8,hadoop2.6。
1,采用虚拟机centerOS7
下载地址。
2.修改虚拟机固定ip
使得虚拟机和主机VMnet8网卡在同一个网段,虚拟机上网方式NAT。我的用户名,主机名,别名,ip如下:
别名 | 主机名 | 用户名 | ip |
h1 | hadoop1 | hadoop | 192.168.246.100 |
h2 | hadoop2 | hadoop | 192.168.246.102 |
h3 | hadoop3 | hadoop | 192.168.246.104 |
3.ssh免密登录设置
①在h1,h2和h3生成本主机的公钥和私钥
ssh-keygen -i rsa (连续Enter),则在.ssh目录下生成id_rsa 和 id_rsa.pub。
②将h1,h2和h3公钥各自拷贝到authorized_keys文件
cat id_rsa.pub >> authorized_keys
③将h1,h2自己的公钥发送给h3主机,本机便能免密访问其他主机(免密原理:其他主机带有本主机的公钥)
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@h3
公钥在authorized_keys文件中,h3的该文件包含h1和h2的公钥。注:修改authorized_keys的文件权限为600,负责不能实现免密访问。
④将授权文件从h3发送到h1和h2,实现三台主机之间的免密访问
scp /home/hadoop/.ssh/authorized_keys h1:/home/hadoop/.ssh/
scp /home/hadoop/.ssh/authorized_keys h2:/home/hadoop/.ssh/
⑤查看各主机是否可以进行免密访问
4.安装jdk1.8
①卸载主机自带的openjdk
查找是否具有openjdk
rpm -qa |grep openjdk
卸载
rpm -e --nodeps xxx.openjdk.xxx
②下载jdk1.8,利用ftp等工具发送到虚拟主机。
③解压到/home/hadoop/soft/目录下
tar -zxvf xxx.jdk
④配置环境变量(vi /etc/profile)
export JAVA_HOME=/home/hadoop/soft/jdk1.8
export CALSSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
生效环境变量 source /etc/profile
⑤检查环境变量是否配置好
未完待续....