Impala 安装

Linux121安装Httpd服务器

#yum⽅式安装httpd服务器
yum install httpd -y
#启动httpd服务器
systemctl start httpd
#验证httpd⼯作是否正常,默认端⼝是80，可以省略
http://linux121

下载Impala安装所需rpm包
Impala所需安装包需要到Cloudera提供地址下载

http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6-
centos7.tar.gz

移动该安装包到/opt/bigdata/software
解压缩

tar -zxvf cdh5.7.6-centos7.tar.gz

使⽤Httpd盛放依赖包
创建软链接到/var/www/html下

ln -s /opt/bigdata/software/cdh/5.7.6 /var/www/html/cdh57

验证

http://linux121/cdh57/

如果提示403 forbidden

vim /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
修改之后要记得重启机器！！之前修改过可以不⽤修改！！

修改Yum源配置⽂件

cd /etc/yum.repos.d
#创建⼀个新的配置⽂件
vim local.repo
#添加如下内容
[local]
name=local
baseurl=http://linux121/cdh57/
gpgcheck=0
enabled=1

name:对于当前源的描述
baseurl:访问当前源的地址信息
gpgcheck: 1 0,gpg校验
enabled:1/0,是否使⽤当前源

分发local.repo⽂件到其它节点

rsync-script local.repo

集群规划

服务名称	linux121	linux122	linux123
impala-catalogd	不安装	不安装	安装
impala-statestored	不安装	不安装	安装
impala-server	安装	安装	安装

Impala⻆⾊

impala-server:这个进程是Impala真正⼯作的进程，官⽅建议把impala-server安装在datanode节点，更靠近数据（短路读取）,进程名impalad

impala-statestored:健康监控⻆⾊，主要监控impala-server,impala-server出现异常时告知给其它impala-server;进程名叫做statestored

impala-catalogd :管理和维护元数据(Hive),impala更新操作；把impala-server更新的元数据通知给其它impala-server,进程名catalogd

官⽅建议statestore与catalog安装在同⼀节点上！

具体安装步骤
Linux123
yum install impala -y
yum install impala-server -y
yum install impala-state-store -y
yum install impala-catalog -y
yum install impala-shell -y

Linux121与Linux122
yum install impala-server -y
yum install impala-shell -y

配置Impala
修改hive-site.xml

vim hive-site.xml
<!--指定metastore地址，之前添加过可以不⽤添加 -->
<property>
	<name>hive.metastore.uris</name> 
	<value>thrift://linux121:9083,thrift://linux123:9083</value>
</property>
<property>
	 <name>hive.metastore.client.socket.timeout</name>
	 <value>3600</value>
</property>

分发Hive安装包到集群节点

rsync -r /opt/bigdata/servers/hive-2.3.7/ linux122:/opt/bigdata/servers/
rsync -r /opt/bigdata/servers/hive-2.3.7/ linux121:/opt/bigdata/servers/

Linux123启动metastore服务

nohup hive --service metastore &

启动hiveserver2服务

nohup hive --service hiveserver2 &

修改HDFS集群hdfs-site.xml
配置HDFS集群的短路读取
什么是短路读取？
在HDFS中通过DataNode来读取数据。但是，当客户端向DataNode请求读取⽂件时，DataNode就会从磁盘读取该⽂件并通过TCP socket将数据发送到客户端。所谓“短路”是指Client客户端直接读取⽂件。很明显，这种情况只在客户端与数据放在同个地点（译者注：同个主机）时才有可能发⽣。短路读对于许多应⽤程序会带来重⼤的性能提升。短路读取：就是Client与DataNode属于同⼀节点，⽆需再经过⽹络传输数据，直接本地读取。

要配置短路本地读，需要验证本机Hadoop是否有libhadoop.so;
进⼊⼀下⽬录：
cd $HADOOP_HOME/lib/native
短路读取配置步骤

1. 创建短路读取本地中转站

#所有节点创建⼀下⽬录
mkdir -p /var/lib/hadoop-hdfs

2. 修改hdfs-site.xml

<!--添加如下内容 -->
<!--打开短路读取开关 -->
<!-- 打开短路读取配置-->
<property>
	<name>dfs.client.read.shortcircuit</name>
	<value>true</value>
</property>
<!--这是⼀个UNIX域套接字的路径，将⽤于DataNode和本地HDFS客户机之间的通信 -->
 <property>
	 <name>dfs.domain.socket.path</name>
	 <value>/var/lib/hadoop-hdfs/dn_socket</value>
 </property>
<!--block存储元数据信息开发开关 -->
<property>
	<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.client.file-block-storage-locations.timeout</name>
	<value>30000</value>
</property>

注：分发到集群其它节点。重启Hadoop集群。

#停⽌集群
stop-dfs.sh
start-dfs.sh
#启动集群
start-dfs.sh
start-yarn.sh