HBase数据上传----生成HFile文件，通过bulkload到habse中,多个column

最新推荐文章于 2021-09-28 17:33:52 发布

super_ruichao

最新推荐文章于 2021-09-28 17:33:52 发布

阅读量1.1k

点赞数

文章标签： hbase bulkload

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/sinat_25932097/article/details/90518532

版权

HBase数据上传----生成HFile文件，通过bulkload到habse中

具体实现步骤

文中讲述了实现过程中的注意事项：

采用spark2.1.0和scala2.11.12进行开发，注：spark和scala版本适配
如果hbase列族中是单列，只需对rowkey排序
如果hbase列族中是多列，需要对rowkey和colunm排序，字典排序
全部实现代码
其中自己实现的预分区

重新实现分区类

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
4
评论
HBase数据上传----生成HFile文件，通过bulkload到habse中,多个column

HBase数据上传----生成HFile文件，通过bulkload到habse中具体实现步骤文中讲述了实现过程中的注意事项：采用spark2.1.0和scala2.11.12进行开发，注：spark和scala版本适配如果hbase列族中是单列，只需对rowkey排序如果hbase列族中是多列，需要对rowkey和colunm排序，字典排序全部实现代码其中自己实现的预分区...
复制链接

扫一扫

博客等级

码龄9年

7
原创

4
点赞

23
收藏

2
粉丝

关注

私信

热门文章

最新评论

spark把hive数据同步到ES中（upsert）
八号先森~: 这样append模式，在es中就是upsert的效果么？
Elasticsearch使用IK分词器的坑
这样の我: es版本为7.0.0以下的也支持ik_max_word，ik_max_word既可以定义在index/_setting,也可以在查询时指定analyzer
HBase数据上传----生成HFile文件，通过bulkload到habse中,多个column
benpaodexiaowoniu 回复 super_ruichao: 难道是因为我的spark2.4.0-cdh6.3.0上没有你图中的SparkSessionBuilder.builder()，而我使用的SparkSession.builder()。是你写错了？还是你pom中引入了特殊的什么？
HBase数据上传----生成HFile文件，通过bulkload到habse中,多个column
benpaodexiaowoniu 回复 super_ruichao: [code=python] import spark.implicits._ val sortValue = spark.read.parquet(dataSourcePath).as[PhoneSegment].dropDuplicates("phone_segment") [/code] 此代码在maven打包时报错：error: Unable to find encoder for type com.potato.hbase2hbase.PhoneSegment. An implicit Encoder[com.potato.hbase2hbase.PhoneSegment] is needed to store com.potato.hbase2hbase.PhoneSegment instances in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. 可是我已经定义了scala的class而非object，如下：[code=python] class PhoneSegment extends Serializable { var province: String = "" var operator: String = "" var city: String = "" var phone_segment: String = "" def this(province: String,operator: String,city: String,phone_segment: String){ this() this.province=province this.operator=operator this.city=city this.phone_segment=phone_segment } } [/code]
HBase数据上传----生成HFile文件，通过bulkload到habse中,多个column
super_ruichao 回复 benpaodexiaowoniu: cdh 5.5.1 hbase 1.0.0

最新文章

目录

评论 4

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。