spark
rookie`
Explore the unknown and keep going
展开
-
Spark常见错误问题汇总
https://www.cnblogs.com/tesla-turing/p/13451769.html转载 2022-06-29 17:43:31 · 182 阅读 · 0 评论 -
Spark Streaming 实时写入Hive
一、背景公司Flume版本过低,使用Flume时有数据丢失问题,但是暂时不方便更新框架。所以使用Spark Streaming替代Flume实现入库Hive功能。二、流程图Created with Raphaël 2.2.0kafkaSpark StreamingETLhive三、代码实现pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"原创 2021-02-01 17:06:08 · 9854 阅读 · 1 评论