Kudu部署

一 Kudu的简介和部署

1.Kudu的特点

  • OLAP工作负载的快速处理。
  • 与MapReduce、Spark等Hadoop生态系统组件集成。
  • 与Apache Impala的紧密集成,使其成为使用HDFS与Apache Parquet的一个很好的、可变的替代选择。

2.Kudu的rpm下载地址
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/
3.下载的rpm文件

[hadoop@hadoop002 kudu]$ ll -h
total 348M
-rw-r--r-- 1 hadoop hadoop 117M Feb 15 11:51 kudu-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm
-rw-r--r-- 1 hadoop hadoop 3.9M Feb 15 11:46 kudu-client0-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm
-rw-r--r-- 1 hadoop hadoop  56K Feb 15 11:50 kudu-client-devel-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm
-rw-rw-r-- 1 hadoop hadoop 228M Feb 15 11:56 kudu-debuginfo-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm
-rw-r--r-- 1 hadoop hadoop 5.7K Feb 15 11:46 kudu-master-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm
-rw-r--r-- 1 hadoop hadoop 5.7K Feb 15 11:46 kudu-tserver-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm

4.安装
4.1 首先要确认服务器的ntp服务已经安装好并启动

[hadoop@hadoop002 ~]$ service ntpd status
Redirecting to /bin/systemctl status  ntpd.service
● ntpd.service - Network Time Service
   Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendor preset: disabled)
   Active: active (running) since Sun 2019-11-10 13:53:13 CST; 4 months 28 days ago
 Main PID: 423 (ntpd)
   CGroup: /system.slice/ntpd.service
           └─423 /usr/sbin/ntpd -u ntp:ntp -g
[hadoop@hadoop002 ~]$ 

4.2 RHEL或CentOS 6.6或更高版本需要从源头构建Kudu。要在7.0以上的版本上构建,必须安装Red Hat开发工具集(以便能够访问c++ 11的编译器)。
安装必备的库(如果没有安装的话)。

$ sudo yum install autoconf automake cyrus-sasl-devel cyrus-sasl
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink是一个流处理框架,而Kudu是一个分布式存储和分析引擎。在Flink中使用Kudu可以实现将流数据写入到Kudu表中。 Flink可以通过Kudu的Java客户端库将数据写入Kudu表。首先,我们需要在Flink程序中添加对Kudu客户端库的依赖。然后,通过Kudu的`KuduTableInfo`类来定义要写入的Kudu表的结构信息,包括表名、列名、列类型等。 在Flink的主体逻辑中,我们可以通过Flink的`DataStream`来表示流数据,并使用`addSink`方法将流数据写入到Kudu表中。在`addSink`方法中,我们可以通过实现`RichSinkFunction`接口来自定义写入Kudu表的逻辑。 在实现`RichSinkFunction`接口的`invoke`方法中,我们可以获取到流数据,并将数据按照指定的逻辑写入到Kudu表中。例如,我们可以使用Kudu客户端库提供的方法来打开Kudu表,并将数据插入到表中。 需要注意的是,在写入过程中,我们需要处理可能发生的异常情况。例如,Kudu表无法连接、数据写入失败等。我们可以在`invoke`方法中使用`try-catch`语句来捕获异常,并根据需求执行相应的错误处理逻辑。 最后,我们需要将写入Kudu的Flink作业部署到集群中运行。可以使用Flink集群管理工具,例如YARN或Kubernetes,将作业提交到集群中。一旦作业启动,Flink将会按照我们的逻辑将数据从流中写入到Kudu表中。 总的来说,使用Flink写入Kudu需要引入Kudu客户端库并定义Kudu表的结构信息,然后通过自定义`SinkFunction`在Flink中将数据写入Kudu表中。这样,我们可以利用Flink的流处理能力将实时数据写入到Kudu表中,为后续的分布式存储和分析提供数据基础。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值