《数据密集型应用系统设计》笔记一:第一章 可靠、可扩展与可维护的应用系统

本文介绍了数据密集型应用系统的特点,对比了数据密集型与计算密集型的区别。强调了可靠性的实现,包括硬件故障、软件错误和人为失误的处理。探讨了可扩展性的衡量指标,如百分位数和垂直扩展与水平扩展的权衡。最后,讨论了可维护性的重要性,提出可运维性、简单性和可演化性作为设计原则。
摘要由CSDN通过智能技术生成

1.认识数据系统

1.1 数据密集型 VS 计算密集型

数据密集型侧重于“数据”,关键在于数据量、数据的复杂度及数据的快速多变性。

计算密集型侧重于“运算”,CPU的处理能力往往是关键考量。

1.2 数据密集型应用系统的架构

数据密集型应用通常也是基于各自独立的标准模块构建而成,这些模块有着各自不同的性能特征和设计实现,每个模块负责单一的功能,一般都包含如下五个模块:
数据库、高速缓存、索引、流式处理、批处理。
一种常见的数据系统架构

流式处理:关注实时性。kafka,storm,spark streaming,flink等
批处理:关注处理性能,不太要求实时性。MapReduce,spark.

2.可靠性

可靠性意味着:即使发生了某些错误故障,系统仍然可以继续正常工作。

针对不同类型的故障,如何实现可靠性?

硬件故障

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值