- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 开源大数据数据质量监控调研
开源工具选择不多，目前了解到的就以下3种：QualitisgriffinDolphinScheduler（最近有人上传了分支，支持数据质量监控功能）1Qualitis腾讯微众银行开源，主要是看到依赖很多腾讯自己的大数据开源组件，感觉肯定很重了，运维弄不了，直接pass了。2 Griffinebay开源工具，调研的时候看到工具功能特别全，实际自己编译完成之后才知道有点坑。编译了两个版本0.5.0,0.6.0，0.5版本需要自己对照源码去加Connector支持出hive以外..
2021-09-24 17:11:08
1952
2
原创 解决Ambari启用Kerberos认证后NameNode UI 等页面无法打开问题
Ambari启用Kerberos认证后NameNode UI， RESOURCEMANAGER ，Spark2 history server ui提示要登录， 如果Windows 和KDC是集成同一个Windows AD，那么可以通过AD账号登录打开页面，否则将提示：401:Authorization required。这种情况可以配置页面匿名访问解决：--namenode ui在HDFS -> Advanced core-siteset hadoop.http.authentic...
2021-05-17 10:52:19
1865
2
原创 yarn 一个节点重启不起来
yarn 一个节点重启不起来报错如下：2021-03-17 14:21:36,938 ERROR nodemanager.LinuxContainerExecutor (LinuxContainerExecutor.java:init(323)) - Failed to bootstrap configured resource subsystems!org.apache.hadoop.yarn.server.nodemanager.containermanager.linux.resources.
2021-05-17 10:49:34
962
原创 对hdfs不适合存小文件
1.因为namenode会记录每一个小文件的元数据信息，如果小文件过多，多namenode消耗太大2.hdfs的设计原理是接近磁盘读取速度，之所以把block块设置很大，是因为想做到寻道时间远小于文件读取数据块的时间，接近磁盘读取速度。...
2018-09-05 16:11:27
1126
原创 flume kafka sink 往kafka topic中发数据，数据不均衡，只发到一个partition中
Kafka Sink uses the topic and key properties from the FlumeEvent headers to send events to Kafka. If topic exists in the headers, the event will be sent to that specific topic, overriding the topic co...
2018-09-05 15:43:28
2862
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人