俯身吻你-CSDN博客

原创 redis主从复制

一、什么是redis主从复制主从复制，当用户往Master端写入数据时，通过Redis Sync机制将数据文件发送至Slave，Slave也会执行相同的操作确保数据一致。二、redis主从复制特点1、同一个Master可以拥有多个Slaves。2、Master下的Slave还可以接受同一架构中其它slave的链接与同步请求，实现数据的级联复制，即Mast

2016-11-25 15:30:36 297

原创 Redis Cluster实现原理

一、Redis Cluster主要特性和设计集群目标 1）高性能和线性扩展，最大可以支撑到1000个节点；Cluster架构中无Proxy层，Master与slave之间使用异步replication，且不存在操作的merge。（即操作不能跨多个nodes，不存在merge层） 2）一定程度上保证writes的安全性，需要客户端容忍一定程度的数据丢失：集

2016-11-25 15:29:25 547

原创 redis集群的搭建

1、redis集群概念将数据进行切片，把数据根据某种规则放入多个不同的服务器节点，来降低单节点服务器的压力。集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点。一致性哈希有四个重要特征：均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源。单调性：对于单调性是当节点数量变化时哈希的结果应尽可能的保

2016-11-25 15:28:24 295

原创 Redis持久化(RDB和AOF)

一、Redis持久化之RDB（Redis DataBase）1、在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的

2016-11-25 15:27:02 470

原创 redis.conf-中文翻译

Redis 配置文件示例# 注意单位: 当需要配置内存大小时, 可能需要指定像1k,5GB,4M等常见格式## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 1024*1024*1024

2016-11-25 15:24:28 842

原创 Redis数据类型和基本操作

redis基本介绍： redis与其他K—V缓存产品特点： 1.Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 2.Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 3.Redis支持数据的备份，即mas

2016-11-25 15:21:04 334

原创分布式数据库中CAP原理和BASE

一、传统的ACID是什么：关系型数据库遵循ACID规则事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：1、A (Atomicity) 原子性原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两

2016-11-25 15:19:47 384

原创 ubuntu服务器下安装CDH5.8安装部署

一、系统概述CDH（Cloudera's Distribution, including Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Had

2016-11-11 15:46:06 2005

原创 HDFS数据流

1.文件读取步骤一：客户端通过FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是分布式文件系统的一个实例。步骤二：DistributedFileSystem通过使用RPC来调用namenode，以确定文件起始块的位置。步骤三：对于每一个块，namenode返回存有该块副本的datanode地址，这些datano

2015-12-17 10:53:03 703

原创 Hadoop2.x的MapReduce改进

1.1 Hadoop1.x时代的MapReduce　　在Hadoop1.x时代，Hadoop中的MapReduce实现是做了很多的事情，而该框架的核心Job Tracker则是既当爹又当妈的意思，如图4所示：　　图4 Hadoop1.x时代的MapReduce框架架构图　　（1）首先用户程序（JobClient）提交了

2015-12-15 16:08:05 1264

原创 Hadoop2.x的 HA简介

1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。块存储管理（2）DataNode（Slaver）namenode和client的指令进行存储或者检索block，并且周期性的向namenode节点报告它存了哪些文件的block2）HA架构

2015-12-15 16:05:18 357

原创 hadoop1.x与hadoop2.x在HDFS和MapReduce上的区别

HDFS改进 ·hadoop1.x的HDFS体系架构在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。下面顺便介绍一下Se

2015-12-14 20:20:01 1636

原创深入类加载器

·类加载器的作用 -将class文件字节码内容加载到内存当中，并将这些静态代码块转化成方法区中的运行时数据，在堆中生成一个代表这个类的java.lang.Class对象作为方法区类数据的访问入口。·类缓存标准的javase类加载器可以按要求查找类，但一旦某个类被加载到某个类加载器中，它将维持加载（缓存）一段时间。不过，JVM垃圾回收机制可以回收这些对象。

2015-12-06 22:46:16 256

原创 JVM核心机制，类加载全过程

1.类加载机制 -JVM把class文件加载到内存，并对数据进行校验、解析和初始化，最终形成JVM可以直接使用的java类的全过程。 -加载 ·将class文件的字节码内存加载到内存当中，并将这些静态数据换成方法区中的运行时数据结构，在堆中生成一个一个代表这个类的java.lang

2015-12-06 21:14:30 717

转载 Hadoop 新 MapReduce 框架 Yarn 详解

原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 1.Hadoop 原 Ma

2015-11-19 17:47:03 419

原创 redis安装以及配置

Centos6.5系统下安装及编译redis-2.8.19 1.安装编译工具 yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel kernel keyutils patch perl 2.安装redis

2016-11-25 15:38:53 289

权威