Kudu——Impala集成Kudu

最新推荐文章于 2024-02-04 17:26:47 发布
最新推荐文章于 2024-02-04 17:26:47 发布
阅读量588 收藏
点赞数
分类专栏： Kudu 文章标签： 大数据 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xdx_dili/article/details/132563727
版权

1、Impala 配置修改

在每一个服务器的 Impala的配置文件中添加如下配置。

vim /etc/default/impala
# 在 IMPALA_SERVER_ARGS 下添加：
-kudu_master_hosts=node-1:7051,node-2:7051,node-3:7051

2、创建Kudu表

需要先启动 hdfs、Hive、Kudu、Impala。使用 Impala 的 Shell 控制台。

2.1、内部表

内部表由 Impala 管理，当您从Impala中删除时，数据和表确实被删除。**当您使用 ****Impala**创建新表时，它通常是内部表。

CREATE TABLE my_first_table(
id BIGINT,
name STRING,
PRIMARY KEY(id)
)
PARTITION BY HASH PARTITIONS 16
STORED AS KUDU
TBLPROPERTIES (
'kudu.master_addresses' = 'node1:7051,node2:7051,node3:7051',
'kudu.table_name' = 'my_first_table'
);
# 在 CREATE TABLE 语句中，必须首先列出构成主键的列。

2.2、外部表

外部表（创建者 CREATE EXTERNAL TABLE）不受 Impala 管理，并且删除此表不会将表从其源位置（此处为 Kudu）丢弃。相反，它只会去除 Impala 和 Kudu之间的映射。这是 Kudu 提供的用于将现有表映射到Impala 的语法。

首先使用 Java 创建 Kudu 表：

public class CreateTable {
    private static ColumnSchema newColumn(String name, Type type, boolean iskey) {
        ColumnSchema.ColumnSchemaBuilder column = 
            new ColumnSchema.ColumnSchemaBuilder(name, type);
        column.key(iskey);
        return column.build();
    }
    public static void main(String[] args) throws KuduException {
        // master 地址
        final String masteraddr = "node1,node2,node3";
        // 创建 kudu 的数据库链接
        KuduClient client = new 
            KuduClient.KuduClientBuilder(masteraddr).defaultSocketReadTimeoutMs(6000)
                .build();
        // 设置表的 schema
        List<ColumnSchema> columns = new LinkedList<ColumnSchema>();
        columns.add(newColumn("CompanyId", Type.INT32, true));
        columns.add(newColumn("WorkId", Type.INT32, false));
        columns.add(newColumn("Name", Type.STRING, false));
        columns.add(newColumn("Gender", Type.STRING, false));
        columns.add(newColumn("Photo", Type.STRING, false));
        Schema schema = new Schema(columns);
        //创建表时提供的所有选项
        CreateTableOptions options = new CreateTableOptions();
        // 设置表的 replica 备份和分区规则
        List<String> parcols = new LinkedList<String>();
        parcols.add("CompanyId");
        //设置表的备份数
        options.setNumReplicas(1);
        //设置 range 分区
        options.setRangePartitionColumns(parcols);
        //设置 hash 分区和数量
        options.addHashPartitions(parcols, 3);
        try {
            client.createTable("person", schema, options);
        } catch (KuduException e) {
            e.printStackTrace();
        }
        client.close();
    }
}

使用Impala创建外部表 ， 将 Kudu 的表映射到Impala 上。

CREATE EXTERNAL TABLE `person` STORED AS KUDU
TBLPROPERTIES(
'kudu.table_name' = 'person',
'kudu.master_addresses' = 'node1:7051,node2:7051,node3:7051')

在这里插入图片描述

3、 使用Impala对Kudu进行DML

3.1、插入数据

Impala 允许使用标准 SQL 语句将数据插入 Kudu。

CREATE TABLE my_first_table1(
id BIGINT,
name STRING,
PRIMARY KEY(id)
)
PARTITION BY HASH PARTITIONS 16
STORED AS KUDU
TBLPROPERTIES(
'kudu.table_name' = 'person1',
'kudu.master_addresses' =
'node1:7051,node2:7051,node3:7051');


# 此示例插入单个行
INSERT INTO my_first_table VALUES (50, "zhangsan");

在这里插入图片描述

# 此示例插入 3 行：
INSERT INTO my_first_table VALUES (1, "john"), (2, "jane"), (3, "jim");

在这里插入图片描述

批量导入数据：从Impala和Kudu的角度来看，通常表现最好的方法通常是使用Impala中SELECT FROM 语句导入数据。

INSERT INTO my_first_table SELECT * FROM temp1;

3.2、更新数据

UPDATE my_first_table SET name="xiaowang" where id =1 ;

在这里插入图片描述

3.3、删除数据

delete from my_first_table where id =2;

在这里插入图片描述

4、更改表属性

4.1、重命名Impala表

ALTER TABLE PERSON RENAME TO person_temp;

在这里插入图片描述

4.2、重新命名内部表的基础 Kudu 表

CREATE TABLE kudu_student (
CompanyId INT,
WorkId INT,
Name STRING,
Gender STRING,
Photo STRING,
PRIMARY KEY(CompanyId)
)
PARTITION BY HASH PARTITIONS 16
STORED AS KUDU
TBLPROPERTIES (
'kudu.master_addresses' = 'node1:7051,node2:7051,node3:7051',
'kudu.table_name' = 'student'
);

如果表是内部表，则可以通过更改 kudu.table_name 属性重命名底层的Kudu表。

ALTER TABLE kudu_student SET TBLPROPERTIES('kudu.table_name' = 'new_student');

4.3、将外部表重新映射 Kudu 表

如果用户在使用过程中发现其他应用程序重新命名了 Kudu 表，那么此时的外部表需要重新映射到 Kudu上。

4.3.1、创建一个外部表

CREATE EXTERNAL TABLE external_table
STORED AS KUDU
TBLPROPERTIES (
'kudu.master_addresses' = 'node1:7051,node2:7051,node3:7051',
'kudu.table_name' = 'person'
);

4.3.2、重新映射外部表，指向不同的 Kudu 表

ALTER TABLE external_table
SET TBLPROPERTIES('kudu.table_name' = 'hashTable')

上面的操作是： 将 external_table 映射的 PERSON 表重新指向hashTable 表。

4.4、更改 Kudu master地址

ALTER TABLE my_table
SET TBLPROPERTIES('kudu.master_addresses' = 'kudu-new-master.example.com:7051');

4.5、将内部表改为外部表

ALTER TABLE my_table SET TBLPROPERTIES('EXTERNAL' = 'TRUE');

5、Impala 使用 Java 操作 Kudu

对于 Impala 而言，开发人员是可以通过JDBC 连接 Impala 的，有了 JDBC，开发人员可以通过 Impala 来间接操作 Kudu。

5.1、引入依赖

<!--impala 的 jdbc 操作-->
<dependency>
    <groupId>com.cloudera</groupId>
    <artifactId>ImpalaJDBC41</artifactId>
    <version>2.5.42</version>
</dependency>
<!--Caused by : ClassNotFound : thrift.protocol.TPro-->
<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libfb303</artifactId>
    <version>0.9.3</version>
    <type>pom</type>
</dependency>
<!--Caused by : ClassNotFound : thrift.protocol.TPro-->
<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libthrift</artifactId>
    <version>0.9.3</version>
    <type>pom</type>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service-rpc</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service</artifactId>
        </exclusion>
    </exclusions>
    <version>1.1.0</version>
</dependency>
<!--导入 hive-->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-service</artifactId>
    <version>1.1.0</version>
</dependency>

5.2、JDBC 连接 Impala 操作 Kudu

使用 JDBC 连接 Impala 操作 Kudu，与 JDBC 连接 MySQL 做更重增删改查基本一样**。

5.2.1、创建实体类

@Setter
@Getter
public class Person {
    private int companyId;
    private int workId;
    private String name;
    private String gender;
    private String photo;
    public Person(int companyId, int workId, String name, String gender, String photo) {
        this.companyId = companyId;
        this.workId = workId;
        this.name = name;
        this.gender = gender;
        this.photo = photo;
    }
}

5.2.2、JDBC 连接 Impala 对Kudu 进行增删改查

import java.sql.*;
public class Contants {
    private static String JDBC_DRIVER="com.cloudera.impala.jdbc41.Driver";
    private static String
        CONNECTION_URL="jdbc:impala://node1:21050/default;auth=noSasl";
    //定义数据库连接
    static Connection conn=null;
    //定义 PreparedStatement 对象
    static PreparedStatement ps=null;
    //定义查询的结果集
    static ResultSet rs= null;

    //数据库连接
    public static Connection getConn(){
        try {
            Class.forName(JDBC_DRIVER);
            conn = DriverManager.getConnection(CONNECTION_URL);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return conn;
    }

    //创建一个表
    public static void createTable(){
        conn=getConn();
        String sql = "CREATE TABLE impala_kudu_test" +
            "(companyId BIGINT," +
            "workId BIGINT," +
            "name STRING," +
            "gender STRING," +
            "photo STRING," +
            "PRIMARY KEY(companyId)" +
            ")" +
            "PARTITION BY HASH PARTITIONS 16 " +
            "STORED AS KUDU " +
            "TBLPROPERTIES (" +
            "'kudu.master_addresses' = 'node1:7051,node2:7051,node3:7051'," +
            "'kudu.table_name' = 'impala_kudu_test'" +
            ");";
        try {
            ps = conn.prepareStatement(sql);
            ps.execute();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
    //查询数据
    public static ResultSet queryRows(){
        try {
            //定义执行的 sql 语句
            String sql="select * from impala_kudu_test";
            ps = getConn().prepareStatement(sql);
            rs= ps.executeQuery();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return rs;
    }
    
    //打印结果
    public static void printRows(ResultSet rs) {
        /**
        private int companyId;
        private int workId;
        private String name;
        private String gender;
        private String photo;
        */
        try {
            while (rs.next()){
                //获取表的每一行字段信息
                int companyId = rs.getInt("companyId");
                int workId = rs.getInt("workId");
                String name = rs.getString("name");
                String gender = rs.getString("gender");
                String photo = rs.getString("photo");
                System.out.print("companyId:"+companyId+" ");
                System.out.print("workId:"+workId+" ");
                System.out.print("name:"+name+" ");
                System.out.print("gender:"+gender+" ");
                System.out.println("photo:"+photo);
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            if(ps != null){
                try {
                    ps.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(conn !=null){
                try {
                    conn.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    //插入数据
    public static void insertRows(Person person) {
        conn = getConn();
        String sql = "insert into table impala_kudu_test(companyId,workId,name,gender,photo) values(?,?,?,?,?)";
        try {
            ps=conn.prepareStatement(sql);
            //给占位符？赋值
            ps.setInt(1,person.getCompanyId());
            ps.setInt(2,person.getWorkId());
            ps.setString(3,person.getName());
            ps.setString(4,person.getGender());
            ps.setString(5,person.getPhoto());
            ps.execute();
        } catch (SQLException e) {
            e.printStackTrace();
        }finally {
            if(ps !=null){
                try {
                    //关闭
                    ps.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(conn !=null){
                try {
                    //关闭
                    conn.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    //更新数据
    public static void updateRows(Person person) {
        //定义执行的 sql 语句
        String sql = "update impala_kudu_test set workId=" + person.getWorkId()+
        ",name='" + person.getName() + "' ," + "gender='" + person.getGender() + "' ," + 
        "photo='" + person.getPhoto()  +"' where companyId=" + person.getCompanyId();
        try {
            ps= getConn().prepareStatement(sql);
            ps.execute();
        } catch (SQLException e) {
            e.printStackTrace();
        }finally {
            if(ps !=null){
                try {
                    //关闭
                    ps.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(conn !=null){
                try {
                    //关闭
                    conn.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    //删除数据
    public static void deleteRows(int companyId){
        //定义 sql 语句
        String sql="delete from impala_kudu_test where companyId=" + companyId;
        try {
            ps =getConn().prepareStatement(sql);
            ps.execute();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
    //删除表
    public static void dropTable() {
        String sql="drop table if exists impala_kudu_test";
        try {
            ps =getConn().prepareStatement(sql);
            ps.execute();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

5.2.3、代码测试运行

import java.sql.Connection;

public class ImpalaJdbcClient {
    public static void main(String[] args) {
        Connection conn = Contants.getConn();
        //创建一个表
        Contants.createTable();
        //插入数据
        Contants.insertRows(new Person(1,100,"lisi","male","lisi-photo"));
        //查询表的数据
        ResultSet rs = Contants.queryRows();
        Contants.printRows(rs);
        //更新数据
        Contants.updateRows(new Person(1,200,"zhangsan","male","zhangsan-photo"));
        //删除数据
        Contants.deleteRows(1);
        //删除表
        Contants.dropTable();
    }
}
静惘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用impala操作kudu之创建kudu表（内部表和外部表）
01-04 3115
依次启动HDFS、mysql、hive、kudu、impala 登录impala的shell控制端： Impala-shell 1：使用该impala-shell命令启动Impala Shell 。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i <host:port&gt...
通过impala更改Kudu表属性
01-04 2031
开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。 Rename an Impala Mapping Table ( 重命名 Impala 映射表 ) ALTER TABLE kudu_PERSON RENAME TO my_new_table; ...
​Kudu与Impala整合
Gzzz的博客
04-23 763
Impala是cloudera提供的一款高效率的sql查询工具，使用内存进行计算提供实时的SQL查询,impala强依赖于Hive 的MetaStore，直接使用hive的元数据，意味着impala元数据都存储在hive的MetaStore当中，并且impala兼容hive的绝大多数sql语法,具有实时，批处理，多并发等优点。在Impala中执行创建Impala外表的语句，可以在Impala中创建的表名称与Kudu中表的名称不一致，在。登录Kudu页面，也可以看到在Kudu中表创建成功。
利用Impala＋Kudu构建准实时分析应用
05-16
Kudu是Cloudera开源的新型列式存储系统，Apache Hadoop生态圈的顶级项目之一，解决了传统Lamda架构处理Hadoop上快速变化数据的存储和处理技术过于复杂的问题，同时Kudu能够与Hadoop生态的其他组件比如Impala、Spark、Flume和Kafka等组件集成，大大降低了对快速变化的数据进行准实时分析的架构设计和实现的门槛。本演讲主要对Kudu的动机、背景，以及架构进行简单介绍，并通过实际的应用场景介绍Impala＋Kudu的组合实现通过SQL技术对快速变化的数据实现准实时分析的能力
[Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
07-10 1万+
感谢原文作者：https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储，在支持高并发低延迟kv查询的同时，还保持良好的Scan性能，该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎，其面...
Kudu-Impala集成特性
weixin_33973600的博客
09-25 110
Kudu-Impala 集成特性 　　CREATE / ALTER / DROP TABLE 　　Impala 支持使用 Kudu 作为持久层来 creating（创建），altering（修改）和 dropping（删除）表。这些表遵循与 Impala 中其他表格相同的 Internal / external（内部 / 外部）方法，允许灵活的数据采集和...
impala建表kudu.txt
08-16
impala建表kudu.txt
[Ambari]==Ambari+Hadoop3集成impala3.2、kudu1.10.0
11-26
ambari2.7.5集成HDP3,本身不带impala、kudu 故集成cloudera的impala、kudu安装方式 ambari插件安装方式。 解压放到/var/lib/ambari-server/resources/stacks/HDP/3.1/services/下
Kudu Impala新手手册1
08-03
《Kudu Impala新手手册1》是一份针对在CDH5.4.7+版本（集群操作系统为CentOS6.5）上部署Kudu并集成Impala的详细指南。本手册旨在帮助初学者掌握Kudu的安装、配置，以及通过Impala对Kudu表进行创建和更新的操作。 ...
kudu介绍及安装配置
02-24
Kudu是一个针对ApacheHadoop平台而开发的列式存储管理器。Kudu共享Hadoop生态系统应用的常见技术特性:它在commodityhardware（商品硬件）上运行，horizontallyscalable（水平可扩展），并支持highlyavailable（高...
impala与kudu进行集成
最新发布
老码农的博客
02-04 1430
Kudu提供了KuduClient api用于操作kudu数据库，但不支持标准SQL操作，可以将Kudu与Apache Impala紧密集成，impala天然就支持兼容kudu，允许开发人员使用Impala的SQL语法从Kudu的tablets 插入，查询，更新和删除数据，Kudu与Impala整合本质上就是为了可以使用Hive表来操作Kudu,主要支持SQL操作。外部表则是由KUDU管理的表，元数据存储在Hive元数据库中，但实际数据文件存储在kudu中。使用下面的sql语句创建外部表。
CentOS7上Apache impala2.7集成apache kudu1.3
david's Blog
06-21 4305
Apache impala集成apache kudu 1.环境准备 1.1.服务器配置 ID IP address Hostname Notes 1 192.168.56.181 apollo.dt.com Hadoop Master 2. Spark Master 3.Kudu Master 4. Impala Master 5.
KUDU和IMPALA的结合使用
Sin_Geek成长の迹
12-28 1万+
Kudu 与 Apache Impala紧密集成，允许使用 Impala 的 SQL 语法从 Kudu tablets 插入，查询，更新和删除数据。此外，还可以用 JDBC 或 ODBC， Impala 作为代理连接 Kudu 进行数据操作。 配置 Kudu 内不需要进行配置更改，从而可以访问 Impala 。 建议配置 Impala 与 Kudu Master servers 的位置：在 Imp...
kudu集成impala
chbxw
01-24 273
1.1、修改配置 在每一个服务器的 impala 的配置文件中添加如下配置。 vim /etc/default/impala 在 IMPALA_SERVER_ARGS 下添加： -kudu_master_hosts=chb1:7051,chb2:7051,chh3:7051 1.2、impala操作kudu 1.2.1、创建内部表 在这里插入代码片 ...
kudu - impala
zjfzjf2012的博客
08-12 261
partition nums equal to num of cores in cluster kudu optimizes sql if   =, &lt;=, '\&lt;', '\&gt;', &gt;=, BETWEEN, or IN used, but not for !=, LIKE, or any other predicate type
和impala_Impala+Kudu基础操作手册
weixin_39794734的博客
12-08 966
SQL操作通过impala对kudu进行sql操作数据库操作--描述表 DESCRIBE tabel_name; --查看分区情况 SHOW PARTITIONS table_name; --查看当前使用数据库 SELECT current_database(); --查看建表语句 SHOW CREATE TABLE table_name创建数据库(creat db)--impala创...
Impala+kudu（工作笔记）
weixin_45568892的博客
05-06 1480
Impala+kudu（工作笔记） Impala是什么？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。 换句话说，Impala是性能最高的SQL引擎（提供类似RDBMS的体验），它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 Impala是建立在Hadoop生态圈的交互式SQL解析引擎，Impala的SQL语法与Hive高度兼容，
impala + kudu | 大数据实时计算踩坑优化指南
微信搜：import_bigdata，大数据领域硬核原创作者
03-31 1336
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sq...
impala-kudu 使用
YangSir7的博客
01-16 1388
impala-kudu 安装   1、下载rpm。 bigtop-utils-0.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.noarch.rpm  impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm  impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值