- 博客(1)
- 收藏
- 关注
RSS订阅原创 spark 写 hbase
前戏: 1.spark操作结构化数据利用hbase进行去重 2.大致思路:将数据处理成结构化数据–>spark调用hadoop api 将数据以hfile形式存入hdfs—>以bulkload方式将数据批量导入hbase 以下以cdh5.16.2生产环境为例: hadoop版本:2.6.0 hbase版本:1.6.0 spark2版本:2.4.0 zk版本:3.4.5 1.所需依赖: <?xml version="1.0" encoding="UTF-8"?> <project
2020-10-13 18:35:51
706
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人