- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kappa 与 Lambda 架构介绍与对比
Lambda 架构Lambda 架构由Storm的作者Nathan Marz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop, Kafka, Spark，Storm等各类大数据组件。Lambda 架构可分解为三层：BACTH LAYER : 利用批处理引擎处理离...
2019-03-12 14:43:15
2070
原创 物联网上行数据实现tcp 负载均衡和高可用架构 nginx + keepalived方案
文章目录需求介绍架构设计具体配置nginx 配置keepalived 配置需求介绍之前有做过一个物联网设备接入的项目，项目中会启动一个数据接入服务（TCP server）用来接收传感器设备上传的数据。数据接入服务需要分布式部署，且要实现设备上行连接能够负载均衡到各台服务节点，且需要保证数据接入服务的高可用性。架构设计keepalived 的功能：暴露一个虚拟IP 即VIP, 检测ngi...
2019-03-11 23:14:50
1442
2
原创 谈一谈你对zookeeper 的理解（大数据面试题系列~~）
文章目录Zookeeper 几个基本概念集群角色会话数据节点ZnodeWatcher 事件监听器几个典型应用场景Master 选举实现分布式锁用作微服务的注册中心Apache Zookeeper 是由Apache Hadoop 的子项目发展而来，之后正式成为了Apache 的顶级项目。Zookeeper 是一个典型的分布式数据一致性的解决方案，它 为分布式应用提供了高效可靠的分布式协调服务，分...
2019-03-06 22:34:49
1804
原创 谈一谈你对mapreduce 的理解?(大数据面试题系列~)
MapReduce 是一种用于数据处理的编程模型。我们可以这样理解MapReduce, 把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。Map 面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取key 和value, 也就是提取了数据的特征。经过MapReduce 的shuffle 阶段之后，在Reduce 阶段看到的都是归纳好的数据，然后再进行进一步的处理以得到结果。...
2019-03-05 21:46:39
1902
原创 谈一谈你对yarn 的理解？（大数据面试题系列！！！）
YARN 是hadoop 的集群资源管理器。Yarn 在Hadoop2 中被引入，是为了要改善MapReduce1 的实现，但它具有足够的通用性，同样也支持其他的分布式计算模式。MapReduce1 的实现机制MapReduce 包括几个高级组件。主进程JobTracker是所有MapReduce 作业的信息交流中心。每个节点都有一个TaskTracker进程，管理相应节点的任务。TaskTr...
2019-03-04 22:51:48
2304
原创 深入剖析 kafka 可靠性是如果保证的？
文章目录kafka 可靠性提供的保证kafka 的复制机制相关配置项复制系数不完全的首领选举最少同步副本kafka 的复制机制和分区的多分布架构是kafka 可靠性保证的核心。把消息写入多个副本可以使kafka 在发生崩溃时仍能保证消息的持久性。kafka 可靠性提供的保证kafka 可以保证分区消息的顺序。如果使用同一个生产者往同一个分区写入消息，消息B 在消息A之后写入，那么kafka...
2019-03-01 00:12:25
388
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人