- 博客(16)
- 收藏
- 关注
原创 redis主从复制
一、什么是redis主从复制主从复制,当用户往Master端写入数据时,通过Redis Sync机制将数据文件发送至Slave,Slave也会执行相同的操作确保数据一致。二、redis主从复制特点1、同一个Master可以拥有多个Slaves。2、Master下的Slave还可以接受同一架构中其它slave的链接与同步请求,实现数据的级联复制,即Mast
2016-11-25 15:30:36 300
原创 Redis Cluster实现原理
一、Redis Cluster主要特性和设计 集群目标 1)高性能和线性扩展,最大可以支撑到1000个节点;Cluster架构中无Proxy层,Master与slave之间使用异步replication,且不存在操作的merge。(即操作不能跨多个nodes,不存在merge层) 2)一定程度上保证writes的安全性,需要客户端容忍一定程度的数据丢失:集
2016-11-25 15:29:25 548
原创 redis集群的搭建
1、redis集群概念将数据进行切片,把数据根据某种规则放入多个不同的服务器节点,来降低单节点服务器的压力。集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点。一致性哈希有四个重要特征:均衡性:也有人把它定义为平衡性,是指哈希的结果能够尽可能分布到所有的节点中去,这样可以有效的利用每个节点上的资源。单调性:对于单调性是当节点数量变化时哈希的结果应尽可能的保
2016-11-25 15:28:24 298
原创 Redis持久化(RDB和AOF)
一、Redis持久化之RDB(Redis DataBase)1、在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里。Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的
2016-11-25 15:27:02 470
原创 redis.conf-中文翻译
Redis 配置文件示例# 注意单位: 当需要配置内存大小时, 可能需要指定像1k,5GB,4M等常见格式## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 1024*1024*1024
2016-11-25 15:24:28 843
原创 Redis数据类型和基本操作
redis基本介绍: redis与其他K—V缓存产品特点: 1.Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。 2.Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 3.Redis支持数据的备份,即mas
2016-11-25 15:21:04 337
原创 分布式数据库中CAP原理和BASE
一、传统的ACID是什么:关系型数据库遵循ACID规则事务在英文中是transaction,和现实世界中的交易很类似,它有如下四个特性:1、A (Atomicity) 原子性原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。比如银行转账,从A账户转100元至B账户,分为两
2016-11-25 15:19:47 385
原创 ubuntu服务器下安装CDH5.8安装部署
一、系统概述CDH(Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Had
2016-11-11 15:46:06 2005
原创 HDFS数据流
1.文件读取 步骤一:客户端通过FileSystem对象的open()方法来打开希望读取的文件,对于HDFS来说,这个对象是分布式文件系统的一个实例。 步骤二:DistributedFileSystem通过使用RPC来调用namenode,以确定文件起始块的位置。 步骤三:对于每一个块,namenode返回存有该块副本的datanode地址,这些datano
2015-12-17 10:53:03 705
原创 Hadoop2.x的MapReduce改进
1.1 Hadoop1.x时代的MapReduce 在Hadoop1.x时代,Hadoop中的MapReduce实现是做了很多的事情,而该框架的核心Job Tracker则是既当爹又当妈的意思,如图4所示: 图4 Hadoop1.x时代的MapReduce框架架构图 (1)首先用户程序 (JobClient) 提交了
2015-12-15 16:08:05 1266
原创 Hadoop2.x的 HA简介
1)基础架构(1)NameNode(Master)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。块存储管理(2)DataNode(Slaver)namenode和client的指令进行存储或者检索block,并且周期性的向namenode节点报告它存了哪些文件的block2)HA架构
2015-12-15 16:05:18 359
原创 hadoop1.x与hadoop2.x在HDFS和MapReduce上的区别
HDFS改进 ·hadoop1.x的HDFS体系架构 在Hadoop1.x中的NameNode只可能有一个,虽然可以通过SecondaryNameNode与NameNode进行数据同步备份,但是总会存在一定的延时,如果NameNode挂掉,但是如果有部份数据还没有同步到SecondaryNameNode上,还是可能会存在着数据丢失的问题。 下面顺便介绍一下Se
2015-12-14 20:20:01 1640
原创 深入类加载器
·类加载器的作用 -将class文件字节码内容加载到内存当中,并将这些静态代码块转化成方法区中的运行时数据 ,在堆中生成一个代表这个类的java.lang.Class对象作为方法区类数据的访问入口。·类缓存 标准的javase类加载器可以按要求查找类,但一旦某个类被加载到某个类加载器中,它将维持加载(缓存)一段时间。不过,JVM垃圾回收机制可以回收这些对象。
2015-12-06 22:46:16 257
原创 JVM核心机制,类加载全过程
1.类加载机制 -JVM把class文件加载到内存,并对数据进行校验、解析和初始化,最终形成JVM可以直接使用的java类的全过程。 -加载 ·将class文件的字节码内存加载到内存当中,并将这些静态数据换成方法区中的运行时数据结构,在堆中生成一个一个代表这个类的java.lang
2015-12-06 21:14:30 717
转载 Hadoop 新 MapReduce 框架 Yarn 详解
原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图:图 1.Hadoop 原 Ma
2015-11-19 17:47:03 420
原创 redis安装以及配置
Centos6.5系统下安装及编译redis-2.8.19 1.安装编译工具 yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel kernel keyutils patch perl 2.安装redis
2016-11-25 15:38:53 293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人