NOSQL 实验一 环境的安装部署

实验一  环境的安装部署

一、实验目的

1、基于虚拟机的数据库环境搭建；

2、完成Hadoop的下载、安装与启动；

3、完成Hbase的下载、安装与启动。

二、实验原理

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Hbase是非关系型数据库，它不要求数据之间有严格的关系，同时它允许在同一列不同行中存储不同类型的数据。Hbase作为Hadoop框架下的数据库，是被设计成在一个服务器集群上运行的。

三、实验环境

OS: CentOS-7

JDK: v1.8.0_161

Hadoop: v2.7.6

Hbase: v1.2.6

四、实验步骤

1 配置虚拟机系统存储空间，运行内存，2核心2线程，网络适配器：

2 配置共享文件夹：

3 使用桌面化CentOS：

4 设置最高权限密码：

5 解压安装文件

a 解压jdk-8u161-linux-x64.tar.gz：

b 解压Hadoop-2.7.6.tar.gz：

c 解压hbase-1.2.6-bin.tar.gz：

6 重命名hbase-1.2.6目录：

7 配置环境变量：

8 安装openjdk_devel：

9 检阅各工具版本

a 检阅java -version：

b 检阅hadoop version：

c 检阅hbase version：

10 关闭防火墙：

11 建议映射表：

12 克隆虚拟机：

13 配置虚拟机网络信息：

a 配置虚拟机master：

b 配置虚拟机slave1：

c 配置虚拟机slave2：

14 检阅各节点ifconfig：

a 检阅master虚拟机ifconfig：

b 检阅slave1虚拟机ifconfig：

c 检阅slave2虚拟机ifconfig：

15 各节点之间互相ping：

a 节点master虚拟机ping slave1：

b 节点master虚拟机ping slave2：

c 节点slave1虚拟机ping slave2：

16 各虚拟机设置ssh免密登录：

a 节点master建立ssh设置免密登录：

b 节点slave1虚拟机建立ssh设置免密登录：

c 节点slave2虚拟机建立ssh设置免密登录：

配置hadoop

17 配置hadoop中xml文件

a 配置core-site.xml

（文件路径：/home/hadoop/hadoop-2.7.6/etc/hadoop/core-site.xml）：

b 配置marped-site.xml：

（文件路径：/home/hadoop/hadoop-2.7.6/etc/hadoop/marped-site.xml；

注意：原本的marped-site.xml是不存在的，需要将同目录下的mapred-site.xml.template文件改成mapred-site.xml再进行修改）

c 配置yarn-site.xml：

（文件路径：/home/hadoop/hadoop-2.7.6/etc/hadoop/yarn-site.xml）

d 配置hdfs-site.xml：

（文件路径：/home/hadoop/hadoop-2.7.6/etc/hadoop/yarn-site.xml）

18 配置slaves：

（文件路径：/home/hadoop/hadoop-2.7.6/etc/hadoop/slaves）

19 启动hadoop系统：

a 启动dfs.sh：

b 启动yarn.sh：

c 启动all.sh：

d 启动结果：

配置hbase

20 配置hbase-site.xml：

（文件路径：/home/hadoop/hbase/conf/hbase-site.xml）

21 启动hbase.sh：

22 检阅各节点jps

a 检查master jps：

b 检查slave1 jps：

c 检查slave2 jps：

至此，实验操作圆满成功，耗时3天。

五、实验思考与习题

1、HBase部署过程中需要注意哪些问题？

答：需要把master主节点regionservers文件（路径：/home/hadoop/hbase/conf/regionservers）中localhost（删掉）改成slave1 slave2（各占一行），不然slave1和slave2中的HRegionServer无法启动；master中的hbase-site.xml文件（路径：/home/hadoop/hbase/conf/hbase-site.xml）复制给从节点slave1、slave2；

实验指导报告存在歧义，实验步骤9 配置与启动hadoop中的a、b步骤中配置JAVA_HOME中写成了export JAVA_HOME=/usr/java/jdk1.8.0_161，在前面步骤解压java为/home/java/。因此，在不改动java路径的前提，所有的JAVA_HOME配置值都理应为/home/java/jdk1.8.0_161；实验步骤10 配置与启动hbase中的a步骤，同样理应为export JAVA_HOME=/home/java/jdk1.8.0_161。

实验步骤9 中g步骤中的 slaves文件路径为：/home/hadoop/hadoop-2.7.6/etc/hadoop/slaves

实验步骤10 中a步骤中的hbase-env.sh文件路径为/home/hadoop/hbase/conf/hbase-env.sh

六、实验总结

问题一：遇到了配置共享文件夹的问题，windows和linux之间没有文件共享，偶然参考了在线文档vmware中centos7实现与windows共享文件夹_centos7访问windows共享文件夹_lovoo的博客-CSDN博客以及VMware Tools安装教程_vmware tools有3种安装方式-CSDN博客；

问题二：在ssh配置免密登录中，试了一天在节点中切换仍然需要密码导致hadoop启动比较麻烦，偶然查阅文档linux虚拟机之间实现免密登录（方法一）_虚拟机之间免密登录-CSDN博客，使用ssh-keygen -t rsa生成公钥和私钥，再使用ssh-copy-id便解决了此问题；

问题三：在hbase搭建中，从节点slave1和slave2中HRegionServer无法启动，偶然查阅文档hbase启动后只有主节点有HRegionServer，而从节点没有HRegionServer_hregionserver主机有 从没有_铃音.的博客-CSDN博客，受此文档启发，将regionservers文件的内容改成slave1和slave2，便解决此问题。

本次实验是本学期的第一个实验，经过几天的努力，成功建立起ssh免密登录，成功搭建hadoop以及hbase，为后续的实验打下基础。