![](https://img-blog.csdnimg.cn/fc25b7b37fa448b1b5129030c9dcce1f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式
文章平均质量分 94
学习整理分布式架构的主要理论与技术。
王清欢Randy
解决问题,担当责任,优雅生活。
展开
-
使用 Docker 搭建 Hadoop 分布式环境
对大数据初学者来说,直接用多台物理机搭建Hadoop集群是一个相当痛苦的过程,大多情况下还没开始跑wordcount,可能就被环境搭建劝退了。除了物理机,虚拟机搭建也是一种常见的方式,但这对宿主机也有着很大的性能要求。本文的目标是将Hadoop集群运行在Docker容器中,使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。快来学习吧 ~...原创 2022-07-21 11:42:59 · 13978 阅读 · 12 评论 -
Elasticsearch 集群基础管理与容错机制
01 Elasticsearch 集群基本概念集群的基本概念是存在多台机器,这些机器在同一个组中,这样一个组或多个组称为一个集群。1.1 Elasticsearch 的特点可以横向扩展至数百上千的服务器节点,实现同时处理PB级数据专门为分布式场景设计,并且在设计时尽可能地屏蔽了分布式的复杂性1.2 Elasticsearch 集群的概念节点:一个运行中的Elasticsearch实例称为一个节点集群:集群由一个或者多个拥有相同cluster.name配置的节点组成,他们共同承担数据和负载的原创 2022-03-10 09:32:30 · 5075 阅读 · 0 评论 -
Docker Compose 容器编排基础使用
Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose,可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。简而言之就是,一个容器的运行可能需要依赖其他容器,例如 一个springboot项目可能要用到 redis mysql 等其他容器。使用Docker Compose对多个容器进行编排,定义多个容器之间的依赖关系,顺利运行多个容器。而 Docker Compose 的用途仅限于对多个容器的编排,无原创 2022-02-26 10:58:27 · 4780 阅读 · 0 评论 -
Docker 安装部署与基础操作
Docker 是一个开源的商业产品,有两个版本:社区版(Community Edition,缩写为 CE)和企业版(Enterprise Edition,缩写为 EE)。企业版包含了一些收费服务,个人开发者一般用不到。下面的介绍都针对社区版。01 Docker 安装本次安装的操作系统是Ubuntu,并使用Docker仓库进行安装,其他系统的 Docker CE 的安装方式请参考 官方文档使用Docker仓库进行安装时,在新主机上首次安装 Docker CE 之前,需要设置 Docker 仓库。之后,可原创 2022-02-26 10:46:42 · 4831 阅读 · 0 评论 -
Redis RDB与AOF持久化方式
01 Redis的持久化方式Redis 提供了不同级别的持久化方式:RDB持久化方式 能够在指定的时间间隔能对数据进行快照存储AOF持久化方式 记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据。AOF命令以redis协议追加保存每次写的操作到文件末尾。另外,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大Redis持久化的使用:不适用持久化:功能类似于memcache,如果只希望数据在服务器运行的时候存在,也可以不使用任何持久化方式。同时原创 2021-09-17 13:43:03 · 2543 阅读 · 0 评论 -
Redis 常用基本操作命令
01 全局命令1.1 Keys命令KEYS pattern 查找所有符合给定模式pattern(正则表达式)的 key,但是KEYS *是非常消耗内存的,容易导致Redis崩溃172.16.255.101:6379> KEYS *1) "k1"2) "k4"3) "k2"4) "k5"02 字符串命令Redis并不是简单的key-value存储,实际上他是一个数据结构服务器,支持不同类型的值。其中Redis Strings是最简单的Redis类型,如果只用这种类型,Redis就相当原创 2021-09-16 17:08:17 · 3288 阅读 · 0 评论 -
Redis 简介与安装部署
01 Redis概念Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(L原创 2021-09-15 15:23:42 · 2284 阅读 · 0 评论 -
使用DevStack安装OpenStack在单机上组建私有云
使用DevStack安装OpenStack在单机上组建私有云本文使用DevStack安装OpenStack在单机上组建私有云,在一台机器上部署 openstack ,部署成功后生成实例并进行实例间的通讯和文件传输。环境准备本实验需要在 Ubuntu 18.04 环境下进行,所需内存为 8G 以上,可以选择安装双系统;如果单机配置足够,也可以直接在虚拟机中完成。双系统安装安装过程要保持网络连接,双系统磁盘空间分区建议以总空间60G为例:/ 目录 25G,swap 4G,/boot 200M,/hom原创 2021-05-10 13:53:06 · 8025 阅读 · 0 评论 -
MapReduce
MapReduceMapReduce基本思想 MapReduce 编程模型来源于函数式编程语言中的 Map 函数和 Reduce 函数,是一种线性可伸缩的编程模型,能够处理和生成超大数据集的算法模型。使用函数式编程模型的好处在于这种编程模型本身就对并行执行有良好的支持,这使得底层系统能够轻易地将大数据量的计算并行化,能够在大量的普通配置的计算机上实现并行化处理,同时由用户函数所提供的确定性也使得底层系统能够将函数重新执行作为提供容错性的主要手段。 MapReduce 主要关注四个问题,分别是如何分原创 2021-01-03 17:28:38 · 9115 阅读 · 0 评论 -
Paxos
Paxos算法一致性算法背景分布式环境中最突出的特点就是其不可靠性,如何在这种环境中解决多个节点并发操作数据并需要保证在读写过程中数据的一致性问题,是一致性算法被提出的初衷。Paxos算法是Lamport提出的一种基于消息传递的分布式强一致性算法,它的目的在于解决分布式环境下一致性的问题。Mulit-Master多监督节点方式是保证分布式系统可用性(Availability)的一种策略,避免单点故障问题,但是也带来了一致性(Consistency)的问题。保证多节点并发访问分布式数据一致性主要有原创 2021-01-02 19:06:03 · 9453 阅读 · 2 评论 -
BigTable
BigTableBigTable设计思想Bigtable 依托于 Google 的 GFS、Chubby 及 SSTable 而诞生,用于解决 Google 内部不同产品在对数据存储的容量和响应时延需求的差异化,力求在确保能够容纳大量数据的同时减少数据的查询耗时。为此,作为分布式结构化数据存储系统的BigTable有以下设计目标: BigTable是用于处理海量数据的,通常是分布在数千台普通服务器上的PB级数据。 BigTable要求能够提供灵活的、高性能的数据存储方案,因为不同的产原创 2020-12-28 21:45:58 · 13845 阅读 · 0 评论 -
Google File System
Google File SystemGFS设计思想 GFS的设计目标是设计一个可伸缩、高可用、高可靠的分布式文件系统,为了达到这一设计目标,其设计思想包含以下内容:为控制成本该系统是构建在成百上千台普通、廉价的设备组装成的存储集群,同时要被相当数量的客户机访问。因此组件失效被视作是常态而不是意外事件,即任何时间都可能有某些组件无法工作或无法从目前的失效状态中恢复。该系统存储的文件可能非常巨大(GB级的文件非常普遍),每个文件又通常都包含许多应用程序对象,所以经常需要处理由数亿个对象构成且快速增长原创 2020-12-20 13:57:01 · 8624 阅读 · 0 评论