使用Hadoop、Hbase搭建新能源汽车大数据平台

题目：使用Hadoop、Hbase搭建新能源汽车大数据平台。

前期工作：先进行Hadoop集群的搭建  

1、安装VMware Workstation 16 PRO  

2、基于VMware Workstation 16 PRO安装Centos7

3、准备三台虚拟机，进行完全分布式安装，修改相关配置项

目录

实现要求：1、集群至少要有三个节点；

2、由于条件有限，所以要求集群至少可以存储100G的数据；

3、将HDFS副本数设置为3；

4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；

5、可以正常提交MapReduce运行；

6、Hbase要集群部署，可正常建表、插入数据和查询数据等；

7、部署一个Mysql数据库，要求可以远程访问。

---

实现前期配置：

 记得下载镜像文件！！

前期配置参照老师的PPT教程，详见课件。

第一部分：实现集群的三个节点

先设置伪分布式，在进行完全分布式的配置

想要在机器1上，远程控制机器2，常用的方案就是在机器1安装ssh客户端，机器2安装ssh服务端，ssh客户端和ssh服务端之间的通信协议是ssh协议。

设置SSH免密登录，通过用户名、密码的方式远程登录。

在linux系统中ssh命令，就是一个ssh客户端程序，sshd服务，就是一个ssh服务端程序。在windows中，给大家提供的mobaxterm是一个图形化界面的ssh客户端。

接下来进行完全分布式的配置，Hadoop都是采用完全分布式安装，也就是集群部署。在这种模式下，Hadoop是运行在多个主机/节点上的。一般来说，集群部署至少需要三台主机。

之前我们用vmware workstation 15 player创建了一台虚拟机并在该虚拟机上进行了Hadoop的伪分布式安装。为避免重复工作，后续的Hadoop集群都是在此基础上进行。创建三个文件夹，然后复制步骤1中找到的虚拟机文件，并分别粘贴一份到这三个文件夹中。

再用vmware打开master、slave1、slave2文件夹下的虚拟机，并重命名。

注意：格式化只需格式化一次，以后启动Hadoop集群时，不需要再格式化。在master上执行！！

格式化的命令：hdfs namenode -format

然后再修改IP等配置信息。

以下是workers文件，展示集群的三个节点。

由于条件有限，所以要求集群至少可以存储100G的数据；

我们设置的三个节点的内存均为36.97GB，加起来一共100G，用来储存数据。

查看hdfs的web管理页面

验证：浏览器访问master的50070端口：http://192.168.159.100:50070

 接下来将副本数量设置为3。

以下是副本配置文件：hdfs-site.xml

NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；

！！拥有守护进程必须安装相关的包，不然无法实现完全分布式的后续操作！！

先停掉守护进程（Journalmode），再一次登录192.168.89.101:50070进行查看节点运行情况，发现主节点被迫停止，副节点自动转变为主节点。

以下是配置文件：

在实现程序的过程中我们也遇到不少的问题，比如进程的缺失，还有粗心大意。忘记将主节点恢复等等。