- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Structured Streaming 动态流 join 静态流 Example
Structured Streaming 动态流 join 静态流 ExampleSpark 代码/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with *...
2018-05-24 16:27:19
1898
原创 Spark Streaming的Event Time和WaterMark理解
EventTime即事件真正生成的时间。例如一个用户在10：06点击 了一个按钮。记录在系统中为10：06。这条数据发送到Kafka，又到了Spark Streaming中处理，已经是10：08了。这个处理的时间就是process Time。Water Mark即 这个时间点之前的数据都到达了。例如现在是10:20 ,但是water Mark是 10：10 分，那么认为，10：10之前的数据都已经...
2018-05-19 11:38:53
5682
原创 Ranger与Kerberos整合
最近调研了Ranger和Kerveros的结合，基于Ranger可以把没有权限变成有权限，在Kerberos基础上搭建了Ranger，进行细粒度权限控制的探索。流程记录如下。1.在Ambari上安装了Kerberos，HDFS，Yarn，Hive。Pricaple。需要生成Keytab。2.安装Ranger后需要在Ranger的配置项中，打开Hive、HDFS、Yarn的配置。并根据官网做相应配置...
2018-05-19 10:43:15
6618
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人