使用Spark 2.2.1 + Kudu 1.5.0 操作Kudu大数据系统

最新推荐文章于 2024-08-07 10:42:44 发布

段智华

最新推荐文章于 2024-08-07 10:42:44 发布

阅读量6.5k

点赞数

分类专栏： AI & Big Data案例实战课程

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/81907063

版权

AI & Big Data案例实战课程专栏收录该内容

167 篇文章 337 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Spark 2.2.1与Kudu 1.5.0进行大数据操作。详细讲解了Kudu的版本查询、Maven依赖，以及Spark如何通过('kudu.master', 'kudu.table')连接到Kudu系统，并创建Dataset。同时提到了spark shell连接Kudu的方法。" 120059842,11368759,Python爬虫实战：2500元直播引流软件，JavaScript加密解析,"['Python', '爬虫', 'JavaScript', '网络爬虫']

摘要由CSDN通过智能技术生成

使用Spark 2.2.1 + Kudu 1.5.0 操作Kudu大数据系统

Kudu的版本查询：（https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_513x.html#concept_8ur_obn_yk）

Apache Kudu	org.apache.kudu	interface-annotations	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-client	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-client-tools	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-flume-sink	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-hive	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-mapreduce	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-parent	1.5.0-cdh5.13.0
 	org.apache.kudu	kudu-spark-tools	1.5.0-cdh5.