hive
文章平均质量分 53
rookie`
Explore the unknown and keep going
展开
-
大数据之数据仓库压缩处理
大数据之数据仓库压缩处理流程原创 2023-02-02 17:02:39 · 510 阅读 · 0 评论 -
Spark Streaming 实时写入Hive
一、背景公司Flume版本过低,使用Flume时有数据丢失问题,但是暂时不方便更新框架。所以使用Spark Streaming替代Flume实现入库Hive功能。二、流程图Created with Raphaël 2.2.0kafkaSpark StreamingETLhive三、代码实现pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"原创 2021-02-01 17:06:08 · 9854 阅读 · 1 评论