大数据
xutfng
这个作者很懒,什么都没留下…
展开
-
如何解析(读取)LZ4压缩格式的Spark EventLog日志
我们都知道Spark启动后会启动Spark UI,这个Spark UI可以帮助我们监控应用程序的状态。但是如果Spark应用跑完了,Spark UI就无法查看,如果Spark在执行过程中出了问题,我们没有办法去快速查找出问题的原因,所以我们需要把Spark Event持久化到磁盘,然后通过Spark History Server去读取Spark Event Log就可以重现运行时情况,可以快速的帮助我们分析问题。经过在网上搜索找到了如下的解析读取办法。原创 2022-11-12 19:37:57 · 1351 阅读 · 0 评论 -
HBase表设计需要考虑的一些事项
HBase设计上的一些特性使其适用于大数据量的实时读写。 HBase集群主要有Zookeeper、MasterServer、RegionServer组成。 Zookeeper保证HBase集群的高可用 MasterServer用来管理元数据。 RegionServer负责实际的数据读写请求处理。 Hbase中表是由一个或多个分区(Region)组成,Region由RegionServer进程管理,一个RegionServer管理多个Region。 表中的数据按照Rowkey被划分到不同的Regio原创 2021-05-19 12:10:28 · 333 阅读 · 0 评论