- 博客(3)
- 收藏
- 关注
原创 Spark-Structured-Streaming 分组聚合笔记
1.直接group by+agg val hourLoginUserCount = weChatUserLoginInfo .union(mallBizuserLogin) .dropDuplicates("realUserId") .groupBy($"loginTimeHour") .agg(sum($"userCount").as("us...
2020-04-22 13:49:58 1105
原创 SuperSet整合kerberos impala
问题:ERROR:root:'TSocket' object has no attribute 'isOpen'解决方案:进入superSet的虚拟环境修改对应lib的版本cd /data/supersetsource ./venv/bin/activatepip install thrift-sasl==0.2.1然后重启superset 需要进入到superSet的虚拟环境(前...
2020-04-09 14:58:34 630 3
原创 logstash、kafka、hdfs、kerberos整合
1.logstash整合kerberos kafkainput {beats{port => 5044}}output {kafka {bootstrap_servers => "datanode1.cloudera.yijiupidev.com:9092"security_pr...
2020-04-09 10:12:59 1221 8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人