CentOS7上Apache impala2.7集成apache kudu1.3

最新推荐文章于 2022-06-20 09:50:28 发布
最新推荐文章于 2022-06-20 09:50:28 发布
阅读量525 收藏 1
点赞数
分类专栏： Impala 文章标签： impala

转自：https://blog.csdn.net/jssg_tzw/article/details/73549284

Apache impala集成apache kudu

1.环境准备

1.1.服务器配置

IDIP addressHostnameNotes
1192.168.56.181apollo.dt.comHadoop Master
2. Spark Master
3.Kudu Master 
4. Impala Master 5. JDK 
6. Scala
2192.168.56.182artemis.dt.comHadoop Slave
2. Spark Slave
3.Kudu tserver 
4. Impalad 5. JDK 
6. Scala
3192.168.56.183uranus.dt.comHadoop Slave
2. Spark Slave
3.Kudu tserver 
4. Impalad 5. JDK 
6. Scala

1.2.环境配置

1.3. impala 安装包下载

2.下载安装依赖包

[root@apollo impala2.7]# yum -y install cyrus-sasl-plain lsb ntp

3.安装impala

3.1.安装 bigtop-utils (主从机都要安装)

[root@apollo impala2.7]# rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm
warning: bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:bigtop-utils-0.7.0+cdh5.9.0+0-1.c################################# [100%]

3.2.安装 impala-kudu-2.7.0 (主从机都要安装)

# 要加上选项--nodeps否则安装会因为缺少依赖包无法通过
[root@apollo impala2.7]# rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps
warning: impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-2.7.0+cdh5.9.0+0-1.cd################################# [100%]

3.3.安装 impala-kudu-catalog (主机安装)

[root@apollo impala2.7]# rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
warning: impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-catalog-2.7.0+cdh5.9.################################# [100%]

3.4.安装 impala-kudu-state (主机安装)

[root@apollo impala2.7]# rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
warning: impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-state-store-2.7.0+cdh################################# [100%]

3.5.主机安装 impala-kudu-server (主从机都要安装)

[root@apollo impala2.7]# rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
warning: impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-server-2.7.0+cdh5.9.0################################# [100%]

3.6.安装impala-kudu-shell (主从机都要安装)

[root@apollo impala2.7]# rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
warning: impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-shell-2.7.0+cdh5.9.0+################################# [100%]

3.7.安装 impala-kudu-udf-devel(主从机都要安装)

[root@apollo impala2.7]# rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
warning: impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:impala-kudu-udf-devel-2.7.0+cdh5.################################# [100%]

4.配置impala (主从机都要配置)

4.1. 配置 vim /etc/default/bigtop-utils里的JDK

# export JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_77

4.2.配置vim /etc/default/impala (主从机都要配置)

IMPALA_CATALOG_SERVICE_HOST=apollo.dt.com
IMPALA_STATE_STORE_HOST=apollo.dt.com

5.配置三台机器时间同步（主从机都要配置)

#主机：apollo.dt.com
[root@apollo kudu]# systemctl restart ntpd
#从机：artemis.dt.com
[root@artemis kudu]# systemctl restart ntpd
#从机：uranus.dt.com
[root@uranus kudu]# systemctl restart ntpd

#主机apollo.dt.com设置开机启动
[root@apollo kudu]# systemctl enable ntpd
#从机artemis.dt.com设置开机启动
[root@artemis kudu]# systemctl enable ntpd
#从机uranus.dt.com设置开机启动
[root@uranus kudu]# systemctl enable ntpd

6.把hadoop配置文件core-site.xml和hdfs-site.xml拷到/etc/impala/conf.dist/目录下并作如下改动

6.1 拷贝core-site.xml和hdfs-site.xml (主从机都要配置)

#主机apollo.dt.com
[root@apollo .ssh]# cp $HADOOP_HOME/etc/hadoop/core-site.xml /etc/impala/conf.dist/
[root@apollo .ssh]# cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /etc/impala/conf.dist/
#从机artemis.dt.com
[root@artemis .ssh]# cp $HADOOP_HOME/etc/hadoop/core-site.xml /etc/impala/conf.dist/
[root@artemis .ssh]# cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /etc/impala/conf.dist/

#从机uranus.dt.com
[root@uranus .ssh]# cp $HADOOP_HOME/etc/hadoop/core-site.xml /etc/impala/conf.dist/
[root@uranus .ssh]# cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /etc/impala/conf.dist/

6.2.具体配置（在hadoop原有内容上增加以下内容）

  • core-site.xml
<property>
        <name>dfs.client.read.shortcircuit</name>
        <value>true</value>
</property>
<property>
        <name>dfs.client.read.shortcircuit.skip.checksum</name>
        <value>false</value>
</property>
<property>
        <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
        <value>true</value>
</property>
  • hdfs-site.xml
<!--impala configuration -->
<property>
        <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
        <value>true</value>
</property>
<property>
        <name>dfs.block.local-path-access.user</name>
        <value>impala</value>
</property>
<property>
        <name>dfs.client.file-block-storage-locations.timeout.millis</name>
        <value>60000</value>
</property>

7. 设置scoket path

在目录/var/run/目录下新建目录hadoop-hdfs (主从机都要配置)。 
注意：该文件夹可能已经存在，应当确认用impala是否有权限进行读写。 
如果已经存在，将用户impala加入该文件所属的组，并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

#主机：apollo.dt.com
[root@apollo .ssh]# cd /var/run/ #进入目录/var/run/
[root@apollo run]# mkdir hadoop-hdfs #创建目录hadoop-hdfs
[root@apollo run]# chown -R 775 hadoop-hdfs/ #设置权限

#从机：artemis.dt.com
[root@artemis .ssh]# cd /var/run/ #进入目录/var/run/
[root@artemis run]# mkdir hadoop-hdfs #创建目录hadoop-hdfs
[root@artemis run]# chown -R 775 hadoop-hdfs/ #设置权限

#从机：uranus.dt.com
[root@uranus .ssh]# cd /var/run/ #进入目录/var/run/
[root@uranus run]# mkdir hadoop-hdfs #创建目录hadoop-hdfs
[root@uranus run]# chown -R 775 hadoop-hdfs/ #设置权限

8. 权限配置（所有机器都应当配置）

如果想要 impala 和 YARN 合作，需要把 impala 用户加入 hdfs 组，相关的可以了解的是Llama项目. 
impala 在执行 DROP TABLE 操作时，需要把文件移到到 hdfs 的回收站，所以你需要创建一个 hdfs 的目录 /user/impala，并将其设置为impala 用户可写。同样的，impala 需要读取 hive 数据仓库下的数据，故需要把 impala 用户加入 hive 组。

#主机：apollo.dt.com
[root@apollo hadoop]# usermod -G hdfs,hadoop impala
[root@apollo hadoop]# groups impala
impala : impala hdfs hadoop

#从机：artemis.dt.com
[root@artemis hadoop]# usermod -G hdfs,hadoop impala
[root@artemis hadoop]# groups impala
impala : impala hdfs hadoop

#从机：uranus.dt.com
[root@uranus hadoop]# usermod -G hdfs,hadoop impala
[root@uranus hadoop]# groups impala
impala : impala hdfs hadoop

Extension: 创建impala在hdfs上的目录并设置权限

[hadoop@apollo sbin]$ hadoop fs -mkdir -p /user/impala
[hadoop@apollo sbin]$ hadoop fs -chown impala /user/impala

8.启动impala

#主机apollo.dt.com
[root@apollo impala]# service impala-state-store restart --kudu_master_hosts=apollo.dt.com:7051
[root@apollo impala]# service impala-catalog restart --kudu_master_hosts=apollo.dt.com:7051
[root@apollo impala]# service impala-server restart --kudu_master_hosts=apollo.dt.com:7051
#从机：artemis.dt.com
[root@artemis .ssh]# service impala-server restart --kudu_master_hosts=apollo.dt.com:7051
#从机：uranus.dt.com
[root@uranus .ssh]# service impala-server restart --kudu_master_hosts=apollo.dt.com:7051

9. 登录impala-shell

[root@apollo impala]# impala-shell
Starting Impala Shell without Kerberos authentication
Connected to apollo.dt.com:21000
Server version: impalad version 2.7.0-cdh5-IMPALA_KUDU-cdh5 RELEASE (build 48f1ad385382cd90dbaed53b174965251d91d088)
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.7.0-cdh5-IMPALA_KUDU-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)

Run the PROFILE command after a query has finished to see a comprehensive summary
of all the performance and diagnostic information that Impala gathered for that
query. Be warned, it can be very long!
***********************************************************************************
[apollo.dt.com:21000] >

10.在impala-shell端创建表

[apollo.dt.com:21000] >  CREATE TABLE dept (
 id BIGINT,
 name STRING
 ) distribute by range(name) split rows(('it'),('op'),('hr'))
 TBLPROPERTIES(
   'storage_handler' = 'com.cloudera.kudu.hive.KuduStorageHandler',
   'kudu.table_name' = 'dept',
   'kudu.master_addresses' = 'apollo.dt.com:7051',
   'kudu.key_columns' = 'id,name'
 );

11.在kudu控制台查看impala-shell创建的表

这里写图片描述

卢子墨
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos 7 服务器Apache-ActiveMQ安装指南
10-08
虽然ActiveMQ目前已经不是开发时的主要消息中间件， 但是对于简单使用JMS的场景...本文档提供了在CentOS7 中安装Apache ActiveMQ 5的操作指南，可以用来指导初级开发人员和企业运维人员搭建Apache MQ的开发、测试环境.
在cdh5.12 中安装kudu
Brady_heitong的专栏
02-01 1319
离线在运行的cdh中安装kudu服务 1、下载安装表 cdh5.12（包含）之前需要  据说 5.13不需要另外下载      下载目录：http://archive.cloudera.com/kudu/parcels        cdh5.9需多下载一个csd文件 http://archive.cloudera.com/kudu/csd 2、将下载的文件上传至/opt/cloudera
impala和kudu使用的小细节
u011250186的博客
03-13 921
之前入门的小错误总结，建表都会出错，真的好尴尬 还是要做好笔记 第一个错误： error:AnalysisException:Table property 'kudu.master_addresses' is required when the impalad startup flat -kudu_master_hosts is not used. answer:'kudu.ma...
OpenTSDB 2.4安装报org.hbase.async.TableNotFoundException: “tsdb“错误
Laurence的技术博客
08-26 1212
使用rpm包安装目前最新的OpenTSDB 2.4时，会在启动时报： org.hbase.async.TableNotFoundException: "tsdb" 经过排查，发现是由于OpenTSDB使用的HBase数据库初始化脚本/usr/share/opentsdb/tools/create_table.sh中关于tsdb的建表脚本有错误，原始内容为： create '$TSDB_TABLE', {NAME => 't', VERSIONS => 1, COMPRESSION =&gt
KUDU的学习
大宇进阶之路的博客
04-09 1215
以下记录自己使用KUDU中的使用问题及解决方法： 1. Kudu主键 Kudu存在主键，创建表时两种方式标明主键： 方式一 CREATE TABLE testa( id int, name string, salary double, PRIMARY key (id ) ) stored as kudu 方式二 CREATE TABLE testb( id int PRIMARY...
使用Apache Kudu和Impala实现存储分层
weixin_34117211的博客
05-20 309
为什么80%的码农都做不了架构师？>>> ...
CentOS7下 Apache的安装配置方法
09-15
前些天安装了Nginx，为了好玩我就又安装Apache，Apache的安装还算顺利。在此做一下学习记录和经验分享,需要的朋友可以参考下
centos 7 安装Apache和svnadmin
01-18
centos 7 安装Apache和svnadmin，用于持续化集成，可以很方便的进行svn的管理，包含了使用的部署包和安装文档
Centos7重新安装 python2.7 和 yum
最新发布
02-23
有时候我们不小心卸载了centos 自带的python2.7, 导致了yum不能使用, 这时我们需要冲洗你安装 python2.7 和 yum, 此资源包含 python2.7和yum相关的软件和安装教程。
Centos7的apache网站环境搭建wordpress
09-15
本篇文章给大家详细分析了在Centos7的apache网站环境搭建wordpress的详细操作方法，有兴趣的朋友参考下。
利用Impala＋Kudu构建准实时分析应用
05-16
Kudu是Cloudera开源的新型列式存储系统，Apache Hadoop生态圈的顶级项目之一，解决了传统Lamda架构处理Hadoop上快速变化数据的存储和处理技术过于复杂的问题，同时Kudu能够与Hadoop生态的其他组件比如Impala、Spark、Flume和Kafka等组件集成，大大降低了对快速变化的数据进行准实时分析的架构设计和实现的门槛。本演讲主要对Kudu的动机、背景，以及架构进行简单介绍，并通过实际的应用场景介绍Impala＋Kudu的组合实现通过SQL技术对快速变化的数据实现准实时分析的能力
impala的安装
04-28
Impala的最大特点也是最大卖点就是它的快速，它是基于Hive的大数据实时分析查询引擎，这里详细介绍了如何安装。
PHP与JSON的一些常用操作
HelloWorld
09-30 1895
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
hbase表修复
weixin_40548182的博客
10-14 5203
场景 opentsdb启动报错 grep -i error /tmp/opentsdb.log 2020-10-13 12:19:41,098 INFO [main-SendThread(localhost:2181)] ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error) 2020-10-13
impala创建kudu表过程，并发时异常
热门推荐
1032851561的博客
05-22 1万+
1.环境 impala版本2.11.0-cdh5.14.0，kudu版本2.11.0-cdh5.14.0 2.问题现象 最近使用impala+kudu时遇到个问题，有个程序会定时通过jdbc来创建kudu表，但是开发时，多个服务同时启动，就会并发创建同一个kudu表，有时会导致表创建异常，此时，在impala-shell中可以查到该表存在，但是实际kudu中不存在该表 [gbdts02:21000......
CDH环境集成KUDU的安装和使用
DKFLEE的博客
05-30 1万+
CDH环境集成KUDU安装与使用说明一、安装说明1.1、安装步骤：1、重新配置CDH集群，将对应版本的KUDU放到本地repo目录后按照安装CDH环境步骤逐步进行安装；1.2、所遇问题：1、无法读取到kudu安装parcel；         a：检查kudu的相关内容是否已经放入本地repo目录；         b：检查对应的版本是否一致；         c：重启CDH management...
impala+kudu (kudu的master的主机名修改之后,查询报错)
November_28的博客
05-28 1223
公司测试集群CDH调整,本次调整动作蛮大. 修改主机名 调整节点角色 调整完成后,CDH的状态都是绿色, 但是在使用impala查询kudu表时发现如上图中错误信息, 无意中发现建表语句中有'kudu.master_addresses' = 'kudu01:7051' 猜测可能是元数据需要修改, 发现在mysql的hive库下的表TABLE_PARAMS需要修改. UPDATE TABLE...
CDH-部署Kudu
非晚の的博客
06-20 1248
CDH-部署Kudu服务
centos7 上的python2.7安装pymysql
05-02
可以通过以下步骤在 CentOS 7 上安装 Python 2.7 和 PyMySQL： 1. 确认当前系统是否已安装 Python 2.7： ``` python2.7 -V ``` 如果已经安装，继续进行下一步。否则，您需要先安装 Python 2.7，可以使用以下命令...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值