storm-流式处理框架

storm是实时的,分布式以及具备高容错的计算系统。 一、架构介绍 上述内容有三个关键词:实时、分布式、高容错。 实时: storm最早是由Twitter(推特)在GitHub上开源出来的。推特我们大家都知道,类似于微博的东西,所以他要求处理速度非常快,点一下马上出来内容才可以。 那么,他是怎么做...

2019-04-19 20:10:28

阅读数 11

评论数 0

redis集群搭建

Redis3.0之后支持Cluster 1、下载Redis: http://45.252.224.66/files/200500000CCBFA57/download.redis.io/releases/redis-3.0.0.tar.gz 2、上传到服务器,解压 tar -zxf redis.t...

2019-04-18 12:47:00

阅读数 26

评论数 0

Redis

Redis是开源的(BSD协议),使用C语言编写,基于内存的且支持持久化,高性能的key-value的NoSQL数据库。 一、为什么使用Redis 我们为什么选择使用Redis呢? 第一个原因就一个字,那就是快!!正所谓天下武功,唯快不破! Redis为什么这么快呢?原因有三: 1)、R...

2019-04-17 23:54:28

阅读数 18

评论数 0

zookeeper工作原理、过半机制、服务器为什么是奇数台

一、zookeeper工作原理 zookeeper的核心是原子广播,这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,分别是恢复模式(选主)和广播模式(同步)。 在服务启动或者领导者崩溃之后,Zab就进入恢复模式,当领导者被选举出来,且大多数serv...

2019-04-16 08:33:55

阅读数 21

评论数 0

二分法查找

二分查找也称折半查找(Binary Search),它是一种效率较高的查找方法。但是,折半查找要求线性表必须采用顺序存储结构,而且表中元素按关键字有序排列。 一、查找过程 首先,用二分查找表中的元素是有序的。 将查找的关键字与表的中间位置的关键字比较,如果相等,则返回。 如果待查找的关键字比表中间...

2019-04-14 20:50:18

阅读数 24

评论数 0

MapReduce提交作业流程

一、角色 Client:客户端 Yarn:负责资源管理和调度 ResourceManager:主Manager,核心。集群节点资源管理。 NodeManager:与MRAppMaster(下面简称MR)汇报资源信息。启动并监控集群中的计算容器。 MRAppMaster: 负责任务切分、任务调度、...

2019-04-12 20:47:50

阅读数 14

评论数 0

MapReduce原理简介

一、MapReduce是什么 MapReduce是一种分布式计算框架,以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。主要用于搜索领域,解决海量数据的计算问题。 MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分...

2019-04-12 08:36:11

阅读数 21

评论数 0

Hadoop--HA架构详解

一、HA架构工作背景 HDFS集群中的nameNode存在单点故障因素。对于只有一个nameNode工作的集群来说,一旦nameNode出现意外情况,会导致整个集群无法工作,直到nameNode重新启动。 为了解决上述问题,Hadoop给出了高容错,高可用的HA方案:一个HDFS集群至少存在两个n...

2019-04-10 08:20:41

阅读数 18

评论数 0

HDFS架构简述

HDFS架构简述 一、HDFS简介 HDFS(Hadoop distributed File System):Hadoop分布式文件系统。是基于流数据模式访问和处理超大文件的需要而开发的,可以运行于廉价的服务器上。它所具有的高容错,高可靠性,高可扩展性,高获得性,高吞吐率等特征为海量数据提供了不怕...

2019-04-10 08:17:18

阅读数 660

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭