大数据
daydayup_668819
这个作者很懒,什么都没留下…
展开
-
HDFS的高可用机制详解
在Hadoop2.X之前,Namenode是HDF...转载 2020-03-08 20:02:56 · 443 阅读 · 0 评论 -
Namenode HA原理详解
在hadoop1中NameNode存在一个单点故障问题,也就是说如果NameNode所在的机器发生故障,那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode,但是它并不是NameNode的备份,它只是namenode的一个助理,协助namenode工作,对fsimage和edits文件进行合并,并推送给NameNode,防止因edits文件过大,导致NameNode重启转载 2017-04-26 18:13:33 · 8886 阅读 · 0 评论 -
Hadoop平台架构--存储篇
刚刚开始使用Hadoop集群的时候,目录没有个规范,大家都根据自己的喜好创建各种不同的目录,权限控制也没有开启。随着应用越来越多,使用的人员也多了起来,导致目录混乱,因此在新规划集群的时候,对目录做了规范和权限控制.下面简单介绍一下我们HDFS目录规范和HDFS存储规划。hadoop ecosystem table简介Hadoop的目的是基于一种新的方法来存储和处理复杂的数据。通过把数据均衡分布到...转载 2018-03-10 11:21:24 · 2305 阅读 · 0 评论 -
Kafka Streams实战-流和状态
本文会介绍:有状态操作 使用状态存储 连接两个流 Kafka Streams的timestamps1. 有状态操作1.1 转换处理器KStream.transformValues是最基本的有状态方法,下图展示了它工作的原理:此方法在语义上与KStream.mapValues方法相同,但...转载 2019-05-15 16:05:37 · 1438 阅读 · 0 评论 -
Kafka设计解析 - Kafka Stream
本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题,如时间定义...转载 2019-05-15 16:47:29 · 413 阅读 · 0 评论 -
Kafka Streams开发者指南
Kafka Streams1.1 概述Kafka Streams是一个客户端程序库,用于处理和分析存储在Kafka中的数据,并将得到的数据写回Kafka或发送到外部系统。Kafka Stream基于一个重要的流处理概念。如正确的区分事件时间和处理时间,窗口支持,以及简单而有效的应用程序状态管理。Kafka Streams的入口门槛...转载 2019-05-17 09:26:51 · 1095 阅读 · 1 评论