分布式系统 Topic & Resource [转载]

最新推荐文章于 2024-10-27 16:43:31 发布
最新推荐文章于 2024-10-27 16:43:31 发布
阅读量877 收藏 2
点赞数
文章标签： 数据库 分布式计算 cassandra paradigms processing 分布式存储

 

现在计算机业界正在进入一个“海量数据”（Big Data）时代，分布式计算技术是存储和处理海量数据的基础，里面有很多有趣的问题值得探讨。从体系结构上说，海量数据系统可以分为三个层次：

  • 最底层是一些分布式系统的基础架构，如 RPC，同步机制，组管理协议等，这些技术无论是分布式存储还是分布式计算系统都需要依赖。
  • 处于中间的是分布式存储系统，这又可以分为两大类：分布式数据库和分布式文件系统。数据库用于存储结构化的数据，而文件系统用于存储非结构化的数据。
  • 在前面两个层次基础之上，可以构建一个分布式的数据处理和管理系统，例如搜索引擎、数据挖掘工具等。

下面的主题列表包含了我们目前所知的相关技术以及资料，其中除了上面说的三个方面，还有传统的关系数据库技术、分布式计算的基本理论。通过学习关系数据库的设计与实现，可以了解到本地存储的很多技术，还可以与现在的 NoSQL 数据库等新技术作对比，从而加深对新技术的理解。分布式计算理论是基本功，我们在做技术的同时，也需要加深对理论的理解。

 

目录

分布式系统基础组件

RPC

  • Thrift
    • "Thrift: Scalable Cross-Language Services Implementation"
    • Thrift 主页
  • SEDA，论文 "SEDA: An Architecture for Well-Conditioned, Scalable Internet Services"

message queue

failure detection

  • “The φ Accrual Failure Detector”

分布式系统中的一致性

  • "Principles of Computer Systems Design" 第十章（可以到MIT 网站下载）
  • 虚拟同步（virtual synchrony）系统
    • K.P. Birman 的两篇论文，讲述虚拟同步的概念的实现方法
      • Reliable Communication in the Presence of Failures
      • Exploiting virtual synchrony in distributed systems
    • 扩展的虚拟同步（Extended Virtual Synchrony），也称为 TOTEM 协议
      • Y. Amir 等，"The Totem Single Ring Ordering and Membership Protocol"
      • L.E. Moser 等，"Extended Virtual Synchrony"
    • Corosync 是 TOTEM 协议的一个开源实现，当前 RedHat 等提供的企业集群使用它作为一致性协议。
  • 采用类似 Paxos 算法的系统
    • Leslie Lamport, "Paxos Made Simple"
    • "Paxos Made Live - An Engineering Perspective" Google 实现 Paxos 算法时的工程考虑。
    • Zookeeper，两篇介绍 ZooKeeper 的论文
      • ZooKeeper: Wait-free coordination for Internet-scale systems
      • A simple totally ordered broadcast protocol
    • Google 的 Chubby，"The Chubby lock service for loosely-coupled distributed systems"
  • 最终一致性
    • 最终一致性概念
    • Cassandra 中最终一致性的应用
      • 基于 Gossip 协议的组成员管理，论文 "Efficient Reconciliation and Flow Control for Anti-Entropy Protocols"
      • 基于 Merkle tree 的数据同步算法：“Informed content delivery across adaptive overlay networks”
  • CAP 理论

分布式数据库和分布式文件系统

Google File System

MooseFS

Ceph

Dynamo

  • 论文 "Dynamo: Amazon’s Highly Available Key-value Store"

Big Table

Cassandra

Parallel Database

  • Yahoo! PNUTS 论文 "PNUTS: Yahoo!’s Hosted Data Serving Platform"
  • GreenPlum 并行数据库，私有软件，非开源
  • HadoopDB，论文 "HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads"

分布式数据库对比

论文 "Benchmarking Cloud Serving Systems with YCSB"

大规模数据处理

  • MapReduce
  • Hive, Pig
    • Hive 论文 "Hive – A Petabyte Scale Data Warehouse Using Hadoop"
    • Pig 论文 "Pig Latin: A Not-So-Foreign Language for Data Processing"
  • search engine (Lucene)

关系数据库

  • 数据库设计与实现基本理论
    • Book "Database System Implementation"
  • transaction processing
    • Book "Transaction Processing: Concepts and Techniques"
    • Book "Principles of Transaction Processing, Second Edition"
  • 性能优化
    • Book "High Performance MySQL"
    • Book "Physical Database Design"
  • SQLite 代码分析
  • PostgreSQL

分布式系统理论

这几本书里面，"distributed algorithms" 比较偏重纯理论，与实际技术相关性不大，阅读优先级较低；"distributed systems: principles and paradigms" 讲了不少实际系统，但是讲的不是很深入（也很难讲深入），初学者可以先浏览一遍；"Principles of computer systems design: an introduction" 是一本新书，对系统设计的很多思想讲的很透彻清晰，优先级较高。

  • Lynch's book "distributed algorithms"
  • Tanenbaum's book "distributed systems: principles and paradigms"
  • "Principles of computer systems design: an introduction"
  • CAP theorem paper, "Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services"
转载自 http://www.thoss.org.cn/mediawiki/index.php/Topic-list
Junezth
关注
【硬刚大数据】2021年从零到大数据专家之Kudu篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 679
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 2021.
机器学习(Machine Learning)&深度学习(Deep Learning)资料
热门推荐
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
分布式解决方案概论
ManWZD的博客
03-21 330
为了解决单机的容量、性能、高可用等瓶颈问题，各种各样的分布式技术和解决方案不断涌现，分布式文件系统、分布式计算、分布式消息、分布式事务、分布式数据库等等，它们分别别用于解决不同场景的不同问题，本文简单阐述了它们的原理和作用。理解可能不够深入，摘录内容较多，欢迎指正。
java面经查缺补漏之四十六天(分布式ID,@Autowired和@Resource,线程池有哪些,GC Roots,ArrayList和LinkedList区别,string的底层,面向对象的理解)
逆水行舟，不进则退
04-24 325
1.分布式ID生成策略知道哪些？ 参考：https://www.cnblogs.com/chengxy-nds/p/12315917.html 什么是分布式ID？ 在我们业务数据量不大的时候，单库单表完全可以支撑现有业务，数据再大一点搞个MySQL主从同步读写分离也能对付。 但随着数据日渐增长，主从同步也扛不住了，就需要对数据库进行分库分表，但分库分表后需要有一个唯一ID来标识一条数...
分布式消息中间件(kafka理论篇)
全村最靓的仔
06-03 670
kafka这几年在分布式领域的用途也是非常火热 ， 感觉有超越老牌rabbitMQ的趋势。在大数据的时代，数据对我们也是越来越重要，就拿web系统来说，现在系统都走向了微服务，分布式，随之而来的是大量的日志信息，这些日志信息，收集起来也是一个问题，对于rabbitMQ来说，这些日志信息太多了，全交给它来说，越来太大。于是kafka就成了新的代言者，kafka刚好也有发布订阅等消息中间件特性。 ...
Rocket MQ（四）Topic，Topic分片和Queue
傅红雪的专栏
04-06 1万+
Queue是RocketMQ中的另一个重要概念。在对该概念进行分析介绍前，我们先来看一张图： 从本质上来说，RocketMQ中的Queue是数据分片的产物。为了更好地理解Queue的定义，我们还需要引入一个新的概念：Topic分片。在分布式数据库和分布式缓存领域，分片概念已经有了清晰的定义。同理，对于RocketMQ，一个Topic可以分布在各个Broker上，我们可以把一个Topic分布在一个Broker上的子集定义为一个Topic分片。对应上图，TopicA有3个Topic分片，分布在Broker
浅谈分布式消息技术 Kafka
zzhongcy的专栏
03-07 2356
Kafka的基本介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目...
Zookeeper在大型分布式系统中的应用
zhangjikuan的专栏
05-14 918
一、前言 　　上一篇博文讲解了Zookeeper的典型应用场景，在大数据时代，各种分布式系统层出不穷，其中，有很多系统都直接或间接使用了Zookeeper，用来解决诸如配置管理、分布式通知/协调、集群管理和Master选举等一系列分布式问题。 二、 Hadoop 　　Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce，
分布式系统distributed-system资料
思索的IT脚印
11-05 1891
分布式系统(Distributed System)资料 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． 《Reconfigurable Distributed Storage for Dynamic Networks》 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)
RabbitMQ入门到熟悉
m0_61585241的博客
11-22 623
RabbitMQ尚硅谷笔记--->从入门到基础
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)
FunnyPrince_的博客
10-20 1万+
目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模⭐️2.3 维度表和事实表⭐️2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.5 数据仓库建模⭐️????2.5.1 ODS层2.5.2 DIM层和DWD层2.5.3 DWS层与DWT层2.5.4
芋道 Spring Boot 消息队列 RocketMQ 入门
芋艿V
05-05 615
点击上方“芋道源码”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2020 超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络...
分布式消息系统之Kafka
AI课工场
10-13 339
随着疫情在国内得到了平稳控制，各个企业也逐渐开始招聘了，而跳槽的好时机，除了金三银四之外，便是金九银十啦。准备看机会的朋友们可以抓住这次机会，好好的准备简历，复盘项目经历，深入恶补每个知识点。今天我们要给大家补的知识点便是分布式消息系统Kafka。 在互联网海量数据、高并发、高可用、低延迟的要求下，使用消息系统来进行数据的转发、系统之间的解耦是必不可少的，学习Kafka就先来看看Kafka的典型使用场景。 场景1之消息系统，即将生产者应用和消费者应用解耦，生产者的消息通过Kafka发送，消费者订阅.
Kafka实现分布式，删除topic，kafka原理文章
qq_33398459的博客
01-23 149
1.实现zookeeper，kafka分布式 https://www.cnblogs.com/lentoo/p/7785004.html 2.kafka 原理 https://www.jianshu.com/p/7008d2a1e320?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_s...
DataX数据同步
最新发布
Kodak
10-27 149
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。
探索MySQL数据库的高级功能：存储过程与触发器
qq_25699299的博客
10-23 340
存储过程和触发器是MySQL数据库中强大的功能，用于实现复杂的业务逻辑和自动化数据处理。通过本文的介绍，希望您能够更好地理解和利用这些功能，提升数据库的效率与一致性。在实际应用中，合理地设计和优化存储过程与触发器，将极大地增强您的数据库应用能力。希望这些知识对您有所帮助，祝您在MySQL的学习和使用中取得更大的成功！
junit5使用suite功能
fanfangyu的博客
10-23 240
2.调用类需要的代码。
论文引用收录证明有什么用？
2401_86157939的博客
10-25 177
论文收录引用证明通常用于申请学位、职称评定、科研项目申请等需要证明研究成果的场合，当科研工作者需要查询其学术论文在指定数据库中的被收录和被引用情况时，可以委托一级科技查新咨询单位进行检索，并出具加盖公章的检索证明，以此来证明作者在科研领域中的实力和成就。对于正在申请博硕士学位的学生来说，论文收录引用证明是评估其研究能力和学术水平的重要依据。同时，对于科研人员、教师和专业人士来说，论文收录引用证明可以帮助他们更好地了解和展示自己的学术成果，也是职称评定科研奖励申报、人才引进和聘任资格评定的重要材料。
RabbitMQ在分布式系统中的可靠性实践
此外，RabbitMQ还支持多种交换机类型（如Direct、Fanout、Topic、Headers等）、绑定机制以及工作队列等高级功能，这些特性使得RabbitMQ能够适应各种复杂的分布式系统需求。在实际应用中，合理的配置和使用这些特性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值