Impala入门 01

最新推荐文章于 2023-04-30 23:00:00 发布
最新推荐文章于 2023-04-30 23:00:00 发布
阅读量215 收藏
点赞数
分类专栏： Impala 文章标签： Impala 短路读取
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42641909/article/details/88962732
版权

1. 什么是Impala

  • Cloudera公司开源提供的一款sql on hadoop的软件。号称是当前大数据领域大查询最快的一款sql on hadoop的工具

impala能够兼容hive，具有实时批处理等特点，提供高并发

2. Impala与hive之间的关系

  • impala与hive是紧耦合的，使用impala之前必须安装好hive数据仓库
  • impala的优点以及缺点：
    优点：计算速度很快，提供近乎实时的查询响应
    缺点：内存消耗大。官方推荐，每个impala的节点，内存最少128Gb

3. Impala的基本结构

  • impala-state-store：主节点，状态存储区，主要用于存储sql执行的中间结果的保存
  • impala-catalog：主节点，元数据管理区。impala会读取hive当中的元数据信息，读取回来保存到自己的catalogg里面去
  • impala-server：从节点，主要就是执行我们的查询的sql语句。官方建议所有的impala-server与datanode安装在一起。可以使用hdfs的短路读取的特性

在这里插入图片描述
在这里插入图片描述

4. 通过本地yum源进行安装Impala

在这里插入图片描述

4.1 Impala的安装环境准备

需要提前安装好hadoop，hive，这二个框架，并且hive需要在所有的impala安装的节点上面都要有，因为impala需要引用hive的依赖包，hadoop的框架需要支持C程序访问接口，查看下图，如果有该路径下有这么些文件，就证明支持C接口
在这里插入图片描述

4.2 下载impala的所有依赖包

由于impala没有提供tar包供我们进行安装，只提供了rpm包，所以我们在安装impala的时候，需要使用rpm包来进行安装，rpm包只有cloudera公司提供了，所以我们去cloudera公司网站进行下载rpm包即可，但是另外一个问题，impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成我们本地yum源来进行安装。我们这里就选择制作我们本地的yum源来进行安装，所以首先我们需要下载到所有的rpm包，下载地址如下
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz
下载好了之后，保留下，留作备用

4.3 挂载磁盘

由于我们下载的tar包非常大，大概5个G，解压之后也最少需要5个G的空间，而我们的虚拟机磁盘有限，不够用了，所以我们可以为我们的虚拟机挂载一块磁盘，专门用于存储我们的tar包
在这里插入图片描述

  • 虚拟机关机新增磁盘
    在我们的虚拟机关机的状态下，在VMware当中新增一块磁盘
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 开机之后进行磁盘挂载
    分区，格式化，挂载新磁盘
    磁盘挂载
df -lh 
fdisk -l
开始分区
fdisk /dev/sdb   这个命令执行后依次输 n  p  1  回车  回车  w
fdisk -l
格式化我们的分区
mkfs -t ext4 -c /dev/sdb1   格式化我们的分区
mkdir /data02
将我们的分区挂载到/data02目录下
mount -t ext4 /dev/sdb1 /data02
df -lh
将我们的挂载磁盘设置开机启动，避免开机之后挂载的磁盘就没了
echo "/dev/sdb1 /data02 ext4 defaults 0 0" >> /etc/fstab

在这里插入图片描述
挂载完成之后，记得重新启动node03机器上面的mysql服务，datanode服务，nodemanager服务，zookeeper服务
启动mysql的服务命令：/etc/init.d/mysqld start

4.4 上传压缩包并解压

将我们5个G的压缩文件上传/data02目录下，并进行解压

cd /data02/
tar -zxvf cdh5.14.0-centos6.tar.gz

在这里插入图片描述

4.5 制作本地yum源

镜像源是centos当中下载相关软件的地址，我们可以通过制作我们自己的镜像源指定我们去哪里下载impala的rpm包，这里我们使用httpd这个软件来作为服务端，启动httpd的服务来作为我们镜像源的下载地址
这里我们选用第三台机器作为镜像源的服务端
node03机器上执行以下命令

yum  -y install httpd
service httpd start
cd /etc/yum.repos.d
vim localimp.repo 

[localimp]
name=localimp
baseurl=http://node03/cdh5.14.0/
gpgcheck=0
enabled=1

创建apache httpd的读取链接

ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0

页面访问本地yum源，出现这个界面表示本地yum源制作成功
在这里插入图片描述
将制作好的localimp配置文件发放到所有需要安装impala的节点上去

cd /etc/yum.repos.d/
scp localimp.repo  node02:$PWD
scp localimp.repo  node01:$PWD

4.6 开始安装impala

  • 安装规划
    在这里插入图片描述
  • 主节点node03执行以下命令进行安装
yum  install  impala -y
yum install impala-server -y
yum install impala-state-store  -y
yum install impala-catalog  -y
yum  install  impala-shell -y
  • 从节点node01与node02安装以下服务
yum install impala-server -y

4.7 所有节点配置impala

  • 修改hive-site.xml
    node03机器修改hive-site.xml内容如下
    hive-site.xml配置
vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
             <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03.hadoop.com</value>
        </property>
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node03.hadoop.com:9083</value>
        </property>
	 <property>
                <name>hive.metastore.client.socket.timeout</name>
                <value>3600</value>
        </property>

</configuration>
  • 将hive的安装包发送到node02与node01机器上
    在node03机器上面执行
cd /export/servers/
scp -r hive-1.1.0-cdh5.14.0/ node02:$PWD
scp -r hive-1.1.0-cdh5.14.0/ node01:$PWD
  • node03启动hive的metastore服务
    启动hive的metastore服务
    node03机器启动hive的metastore服务
cd  /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive -- service hiveserver2 &

注意：一定要保证mysql的服务正常启动，否则metastore的服务不能够启动

  • 所有hadoop节点修改hdfs-site.xml添加以下内容
    所有节点创建文件夹
mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效

vim  /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml

<property>
		<name>dfs.client.read.shortcircuit</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.domain.socket.path</name>
		<value>/var/run/hdfs-sockets/dn</value>
	</property>
	<property>
		<name>dfs.client.file-block-storage-locations.timeout.millis</name>
		<value>10000</value>
	</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

注意：root用户不需要这一步操作了，实际工作当中普通用户需要这一步操作

创建文件夹  /var/run/hadoop-hdfs/
给这个文件夹赋予权限，例如如果我们用的是普通用户，那就直接赋予普通用户的权限
例如：
chown  -R  hadoop:hadoop   /var/run/hdfs-sockets/
因为我这里直接用的root用户，所以不需要赋权限了
  • 重启hdfs
    node01服务器上面执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/stop-dfs.sh
sbin/start-dfs.sh
  • 创建hadoop与hive的配置文件的连接
    impala的配置目录为 /etc/impala/conf
    这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml拷贝到这里来，但是我们这里使用软连接的方式会更好
    所有节点执行以下命令创建链接到impala配置目录下来
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml
  • 修改impala的配置文件
    所有节点修改impala默认配置
    所有节点更改impala默认配置文件以及添加mysql的连接驱动包
vim /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03

所有节点创建mysql的驱动包的软连接

ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

在这里插入图片描述
所有节点修改bigtop的java路径
修改bigtop的java_home路径

vim /etc/default/bigtop-utils

export JAVA_HOME=/export/servers/jdk1.8.0_141

在这里插入图片描述

  • 启动impala服务
    启动impala服务
    主节点node03启动以下三个服务进程
service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动node01与node02启动impala-server

service  impala-server  start

查看impala进程是否存在

ps -ef | grep impala

注意：启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下，node03机器上面应该有三个进程，node02与node01机器上面只有一个进程，如果进程个数不对，去对应目录下查看报错日志
浏览器页面访问：
访问impalad的管理界面
http://node03:25000/
访问statestored的管理界面
http://node03:25010/

5. Impala的使用

5.1 启动

node03的hive需要启动hiveserver 2 以及 metastore的服务

bin/hive --service hiveserver2
bin/hive --serivce metastore

5.2 impala 的shell的使用：

  • 外部shell命令：
查看impala的版本：
impala-shell -v -V
查看impala的帮助文档
impala-shell -h 
通过 -i连接到某一台impala-server服务器
刷新我们hive的所有的元数据信息
impala-shell -r
通过  -f   执行我们impala执行sql脚本   类似于hive的  -f   
impala-shell -f impala.sql 
通过-q   来指定我么impala直接执行sql脚本 类似于hive的  -e
impala-shell -q   "select  * from  myhive.student";
  • 内部的shell命令：
    进入到impala-shell内部之后的一些可以执行的参数

  1. refesh dbname.tabname 主要是用于帮助我们刷新hive当中的某一张表发生变化，比如hive当中一张表分区数添加，可以用这个命令。增量的刷新。如果hive当中新建的数据库表，这个命令刷不到

  2. invalidate metadata 全量的刷新，将hive当中所有的元数据信息，全部刷新过来保存到catalog里面去。性能消耗比较大，一般不要轻易使用，只有hive当中新建数据库或者新建数据库表的时候，才有可能用到

  3. impala当中直接创建的数据库或者数据库表，impala当中都可以直接 看得到，但是hive当中创建的数据库以及数据库表必须刷新之后，impala才能看得到。

    因为impala自己创建的数据库以及数据库表，直接将元数据信息保存到catalog里面去了

  • 以后完全可以使用impala代替掉我们的hive
啊策策
关注
专栏目录
Impala入门学习与使用详解
weixin_43230682的博客
07-28 1775
目录 一、Impala的基本概念 1.1 什么是Impala 1.2 Impala的优缺点 1.2.1 优点 1.2.2 缺点 1.3 Impala的架构 二、Impala的安装 2.1 Impala的地址 2.2 Impala的安装方式 2.3 Impala 的监护管理 2.4 Impala的初体验 三、Impala的操作命令 3.1 Impala的外部shell 3.2 Impala的内部shell 四、Impala的数据类型 五、DDL数据定义 5.1 创建数据库
Impala入门操作
冥更的博客
12-02 3126
Impala简介 用于处理存储在Hadoop集群中的大量数据的大规模并行处理SQL查询引擎，高性能低延迟 底层基于C++编写 优点 执行数据处理时，不需要对存储在Hadoop上的数据进行转换或移动 可以用传统的SQL处理数据 使用Rarquet文件格式 缺点 不提供对序列化和反序列化的支持 只能读取文本文件，不能读取自定义二进制文件 架构 Impala daemon 即所谓的i
impala入门
lang830349821的博客
04-30 1831
Impala是一个用于Hadoop生态系统的高性能、低延迟的分布式SQL查询引擎，它允许用户在Hadoop集群上进行交互式的分析查询。Impala的目标是提供一个具有类似传统数据仓库的查询性能和功能的引擎。Impala的主要组件包括：1. Impalad：Impala守护进程（Impalad）是Impala的核心组件，负责在集群中的各个节点上执行查询。每个Impalad进程都可以处理客户端连接、元数据操作以及在本地数据节点上执行查询片段。
impala 问题小结
he613的博客
05-18 1883
前言： 在日常的impala操作及运维中，遇到了一些问题，在此记录，防止后来人踩坑。 问题一：impala的substr 由于hive跑日常批量时间较长，因此考虑使用impala进行替换，在改写脚本中遇到了如下问题： 用hive 写 select substr("adbc",0,2) 获得数据为"ab"，使用impala 写 select substr("adbc",0,2) 获得数据为...
impala日志目录过大
SelectDB的专栏
08-13 2907
目录名称：audit  lineage 解决办法： 进入cdh平台，点击impala，找到配置里面，搜索：Impala Daemon 日志目录 把/var/log/impalad 修改为：/data/log/impalad即可
Impala集成hive（填了各种坑之后总结出来的文档）
lukabruce的博客
10-08 9095
1 环境准备 1.1服务器配置 1.2 环境配置 1.3 Impala安装包下载(不能使用yum命令的情况下) 1.4 Impala安装包下载(可以使用yum命令的情况下) 2 下载安装依赖包（必须安装） 3 安装impala 3.1 安装 bigtop-utils(主、从机都要安装) 3.2 安装impala-2.7.0(主、从机都要安装) 3.3 安装...
Impala入门案例
凉茶铺的博客
10-26 770
使用案例演示了Impala的使用方法
Impala大数据分析快速入门视频教程
10-21
从零开始讲解大数据分布式计算的发展及Impala的应用场景，对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理，基于Impala构建高性能交互式SQL分析平台 课程亮点 1，知识体系完备，从小白到大神各阶段读者均...
impala快速入门手册
01-02
Impala 快速入门手册 Impala 是一款基于 Apache Hadoop 的高性能、实时查询引擎，能够快速处理大量数据。下面是 Impala 的快速入门手册，旨在指导新手快速使用 Impala 做数据分析工作。 1. 什么是 Impala？ ...
impala入门 SHOW DATABASES
05-26
Impala是一个高性能的分布式SQL查询引擎，可用于快速查询存储在Hadoop分布式文件系统中的数据。SHOW DATABASES是Impala的一个SQL命令，用于显示Impala中所有可用的数据库列表。执行SHOW DATABASES命令后，Impala将...
impala v0.3使用和配置
快乐程序员的专栏
01-09 4535
一、Impala介绍 Cloudera Impala提供了快速，交互式的针对存储在hadoop(hdfs和hbase)上的数据的查询方案。impala采用了和hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和用户接口(HUE Beeswax)，这样在使用CDH产品时，批处理和实时查询的平台是统一的。 Cloudera Impala是另外一个支持大数据查询的工具，但它并不是
impala执行任务，出现错误情况分析过程
xuyingzhong的博客
06-14 7534
[2019-06-14 06:41:37,995] {bash_operator.py:110} INFO - ERROR: ExecQueryFInstances rpc query_id=ad436a66e8edf461:1f40b0a200000000 failed: Failed to get minimum memory reservation of 108.00 MB on daem...
impala常见错误小结
weixin_34273481的博客
01-28 3714
线上使用impala做一部分的nginx日志实时计算，简单记录下在使用过程中遇到的一些小问题：部署常见问题：1.mysql jar错误Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "DBCP" plugin to create a ConnectionPool gav...
多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真 功能：实现并联系统中各逆变器输出
最新发布
10-09
多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真。 功能：实现并联系统中各逆变器输出功率均分。 （有能力的话还可以研究下垂特性、功率指令以及静态功工作点三者之间的联系） 控制策略：VSG控制策略（同步机控制） 逆变器主电路：三相逆变器，LCL滤波电路，VSG控制模块。 VSG控制模块：定、转子方程，dq变，电压电流双闭环，预同步，pwm发生器。
Ringtones波点音乐-《Lightning Moment》.mp3
10-09
Ringtones波点音乐-《Lightning Moment》.mp3
onnx2onnx-0.3.1.tar.gz
10-09
onnx2onnx-0.3.1.tar
网页商城系统 SSM毕业设计 源码+数据库+论文（JAVA+SpringBoot+Vue.JS）.zip
10-09
网页商城系统 SSM毕业设计 源码+数据库+论文（JAVA+SpringBoot+Vue.JS） 启动教程：https://www.bilibili.com/video/BV1GK1iYyE2B
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值