hadoop，hive，hue，impala安装与启动

写在前面

使用impala需要（因为impala基于hive元数据）
Metastore
指数据库中的元数据，管理元数据的服务。

使用hue，impala需要
HiveServer2（HS2）
是一个服务端接口，使远程客户端可以执行对Hive的查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本，并支持多客户端并发和身份验证

Hadoop

安装规划

安装

安装代码

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers

添加Hadoop到环境变量 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

配置

说明：
Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置
HDFS集群配置

1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
2. 指定NameNode节点以及数据存储目录（修改core-site.xml）
3. 指定SecondaryNameNode节点（修改hdfs-site.xml）
4. 指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）
   MapReduce集群配置
5. 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
6. 指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）
   Yarn集群配置
7. 将JDK路径明确配置给Yarn（修改yarn-env.sh）
8. 指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）
9. 指定NodeManager节点（会通过slaves文件内容确定）

集群配置具体步骤：
HDFS集群配置

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

配置：hadoop-env.sh
将JDK路径明确配置给HDFS

vim hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

指定NameNode节点以及数据存储目录（修改core-site.xml）

vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

官网的core-site配置说明
指定secondarynamenode节点(修改hdfs-site.xml)

vim hdfs-site.xml
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>linux123:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

hdfs-site.xml官方说明

指定datanode从节点(修改slaves文件，每个节点配置信息占一行)

vim slaves
linux121
linux122
linux123

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

MapReduce集群配置
指定MapReduce使用的jdk路径（修改mapred-env.sh）

vim mapred-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

mapred-site.xml默认配置官方说明

Yarn集群配置
指定JDK路径

vim yarn-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

指定ResourceMnager的master节点信息(修改yarn-site.xml)

vim yarn-site.xml
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux123</value>
</property>
<