- 博客(1)
- 收藏
- 关注
原创 spark 写 hbase
前戏:1.spark操作结构化数据利用hbase进行去重2.大致思路:将数据处理成结构化数据–>spark调用hadoop api 将数据以hfile形式存入hdfs—>以bulkload方式将数据批量导入hbase以下以cdh5.16.2生产环境为例:hadoop版本:2.6.0hbase版本:1.6.0spark2版本:2.4.0zk版本:3.4.51.所需依赖:<?xml version="1.0" encoding="UTF-8"?><project
2020-10-13 18:35:51 577
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人