系统级总结
文章平均质量分 60
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
整理总结 --- The log 系统的神器 (此Log非应用log)
http://www.cnblogs.com/foreach-break/p/notes_about_distributed_system_and_The_log.html学习了上面文章,特此总结,以备复习(有些地方理解不透彻,待后复习)Log的价值1) Log是如下系统的核心:分布式图数据库 分布式搜索引擎 Hadoop 第一代和第二代K-V数据库2) Log可能跟计算机...原创 2018-12-02 22:31:35 · 165 阅读 · 0 评论 -
整理总结 --- 大数据开源框架分类
1 、文件存储 : HDFS、 Tachyon 、KFS S32 、离线计算 : Hadoop MP、 Spark3 、流式(实时)计算 : Storm、 Spark Streaming、Flink、 S44 、资源管理 : YARM、 Mesos5 、NOSQL数据库 : HBase 、 Redis、 MongoDB6 、日志收集 : Flume、 Scribe、 Logstash...原创 2018-12-02 22:32:24 · 292 阅读 · 0 评论 -
整理总结 --- 大数据架构 Lambda, IOTA等
1、流式架构传统大数据架构优点:简单,易懂,对于BI系统来说,基本思想没有发生变化,变化的仅仅是技术选型,用大数据架构替换掉BI的组件。缺点:对于大数据来说,没有BI下如此完备的Cube架构,虽然目前有kylin,但是kylin的局限性非常明显,远远没有BI下的Cube的灵活度和稳定度,因此对业务支撑的灵活度不够,所以对于存在大量报表,或者复杂的钻取的场景,需要太多的手工定制化,同时该...原创 2018-12-02 22:51:44 · 2111 阅读 · 0 评论 -
整理总结 -- 什么是框架?
IT语境中的框架,特指为解决一个开放性问题而设计的具有一定约束性的支撑结构。在此结构上可以根据具体问题扩展、安插更多的组成部分,从而更迅速和方便地构建完整的解决问题的方案 1)框架本身一般不完整到可以解决特定问题;2)框架天生就是为扩展而设计的;3)框架里面可以为后续扩展的组件提供很多辅助性、支撑性的方便易用的实用工具(utilities),也就是说框架时常配套了一些帮助解决某类问...原创 2018-11-23 22:54:24 · 309 阅读 · 0 评论 -
Mark - 文件系统EXT3,EXT4和XFS
文件系统EXT3,EXT4和XFS的区别: 1. EXT3 (1)最多只能支持32TB的文件系统和2TB的文件,实际只能容纳2TB的文件系统和16GB的文件 (2)Ext3目前只支持32000个子目录 (3)Ext3文件系统使用32位空间记录块数量和i-节点数量 (4)当数据写入到Ext3文件系统中时,Ext3的数据块分配器每次只能分配一个4KB的块 2. EXT4 EXT4是Lin...转载 2019-02-15 09:22:15 · 589 阅读 · 0 评论 -
概念 - 分布式,微服务,集群
总结:分布式属于微服务, 虽说微服务是架构设计,分布式属于系统部署,但架构设计和系统部署是分不开的,架构设计和系统部署要结合考虑,相互影响的分布式与集群分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起,实现同一业务分布式的每一个节点,都完成不同的业务,一个节点垮了,那这个业务就不可访问了。分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位...原创 2019-02-20 12:07:11 · 1385 阅读 · 0 评论 -
BigData - Lambda架构 vs Kappa架构
Lambda 架构Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Spark,Storm等各类大数据组件。Lambda 架构可分解为三层Layer,即Batch Layer, Re...转载 2019-03-15 17:00:48 · 361 阅读 · 0 评论