![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark开发
为一个人走几座城
这个作者很懒,什么都没留下…
展开
-
Spark Security面面观
一、背景作为一款成熟的商业软件,安全往往鲜少被提及但又不可忽略,大数据软件也是如此。在生产环境中,对于一款成熟的大数据软件的考量,不仅需要考虑其功能完备性和性能,同时安全也是不可缺少的一环。为什么安全如此重要呢?首先,商业环境通常是多租户环境,不同的用户/组对于不同的数据/应用有不同的安全考量。我们需要保证相应的用户不能做出超越权限的操作。 同时,分布式架构会将端口、数据暴露出去,如...转载 2020-03-01 09:56:59 · 881 阅读 · 0 评论 -
Spark解析binlog日志,写入MySQL
1. 背景 由于公司业务线的不断拓展,创建了很多MySQL实例,为了安全起见每个实例之间不能直接互相访问,但是业务部门又需要整合各个业务线的数据进行分析、制定风控策略等。因此需要将不同业务线数据进行归集。 当然一下方案不是最优的,MySQL实例之间数据互通,有很多成熟且稳定的方式,因此我觉得我们选择了一种不是非常理想的方式!2. 处理流程 MySQL ——>...原创 2019-06-03 23:04:16 · 1899 阅读 · 0 评论 -
Spark消费kafka错误集锦
一、19/07/05 00:10:05 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 2)org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for ...原创 2019-07-30 18:46:58 · 726 阅读 · 0 评论