安装大数据组件hadoop、zookeeper、hbase、hive

安装准备

配置主机名以及免密登录

将三台主机的hosts文件都设置为相同，具体如下

登录hadoop1节点，输入命令ssh-keygen，并一直按回车

通过ssh-copy-id拷贝至hadoop2，hadoop3节点上，中途需要输入hadoo2和hadoo3节点的ssh密码，建议所有主机都设置为相同的密码

关闭防火墙并关闭selinux

三台主机通过如下命令关闭防火墙以及临时关闭selinux

永久关闭selinux，保证机器重启后还能生效，将如下参数改为disabled即可

配置时间同步

三台主机上执行命令systemctl start chronyd启动时间自动同步服务（需要连接互联网）

安装并配置java

1.解压jdk压缩包到/usr/local目录下

2.编辑/etc/profile文件，在文件末尾加入两行如下配置
3.通过source命令使环境变量生效并验证java

4.其余两台主机都按照如上设置

安装zookeeper

1.上传zookeeper软件包至hadoop1节点的opt目录下并解压
2.创建zkData目录，复制并重命名配置文件名称


3.修改配置文件，修改数据目录配置并在配置文件末尾加入如下配置并保存

4.在zkData下新增myid文件，并设置唯一编码为1

5.将zookeeper整个文件分发至其他hadoop2，hadoop3节点上

6.将hadoop2、Hadoop3的myid分别各自设置为2、3

7.启动各个节点的zookeeper服务，通过zkServer.sh status查看各个节点的状态，可以看到hadoop3节点自动被选举为leader

安装hadoop

1.解压hadoop目录

2.配置hadoop环境变量vim /etc/profile

3.进入/opt/hadoop-2.7.3/etc/hadoop目录下，修改hadoop-env.sh文件的JAVA_HOME路径

4.进入/opt/hadoop-2.7.3/etc/hadoop目录下，修改core-site.xml文件

5.添加hadoop2.7.1/etc/hadoop/hdfs-site.xml中的配置

6.重命名mapred-site.xml.template文件为mapred-site.xml，并配置hadoop2.7.1/etc/hadoop/mapred-site.xml文件


7.配置hadoop2.7.1/etc/hadoop/yarn-site.xml文件

8.编辑hadoop2.7.1/etc/hadoop/slaves文件，每个主机名为一行

9.将集群主节点hadoop文件拷贝至其他节点

10.在主节点输入命令hdfs namenode -format进行格式化

11.进入到/opt/hadoop-2.7.3/sbin，start-dfs.sh， start-yarn.sh 启动hadoop进程


12.通过jps查看进程验证安装结果


13.通过web端页面查看hdfs集群状态以及yarn集群状态

安装hbase

1.解压hbase至/opt目录

2.配置hbase环境变量并生效


3.进入到/opt/hbase-1.2.6/conf下，配置hbase-env.sh文件，修改jdk设置

4.修改如下设置，使用单独的zookeeper

5.修改/opt/hbase-1.2.6/conf/hbase-site.xml文件，如下

6.配置regionservers,vim regionservers

7.将 Hadoop 的配置文件目录（/opt/hadoop-2.7.3/etc/hadoop）下的 core-site.xml 和hdfs-site.xml 复制到/opt/hbase-1.2.6/conf 目录下

8.将hbase整个目录复制到hadoop2，hadoop3

9.通过执行命令start-hbase.sh，启动hbase服务

10.浏览器中访问地址http://hadoop1:16010/，出现如下状态表示集群正常

安装hive

1.解压hive目录到/opt下

2.将apache-hive-2.1.1-bin 重命名为 hive

3.配置环境变量/etc/profile，加入hive的相关设置，并使之生效

4.通过yum安装mysql-server



设置mysql的root密码

5.配置hive，进入到hive/conf目录下，重命名如下配置文件

6.修改hive-env.sh文件，将hadoop_home替换为实际内容

7.修改hive-site.xml文件，配置相关mysql信息

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
 </property>
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>root</value>
 </property>
 <property>

8.将 hive-site.xml 文件中的$system:java.io.tmpdir替换为/opt/hive/hivetemp，${system:user.name}替换为 root,使用 vi 文本编辑器的替换字符串功能，将 hive-site.xml 文件中的$system:java.io.tmpdir替换为/opt/hive/hivetemp，${system:user.name}替换为 root。

 :%s#${system:java.io.tmpdir}#/opt/hive/hivetemp#g 
:%s#${system:user.name}#root#g

9.将 MySQL 的驱动文件 mysql-connector-java-5.1.41.jar 复制到/opt/hive/lib 目录下，执行初始化schematool -initSchema -dbType mysql

10.hive客户端，通过命令show databases;查看数据库