2014年11月_axxbc123

原创【Hadoop二】Hadoop常用命令

以Hadoop运行Hadoop自带的wordcount为例， hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop，需要说明的是，这些命令的使用必须在Hadoop已经运行的情况下才能执行 Hadoop HDFS相关命令 hadoop fs -ls 列出HDFS文件系统的第一级文件和第一级目录，如： hadoop@had...

2014-11-29 10:10:01 151

原创【Memcached一】Memcached内存管理

Memcached是基于客户端的一致性Hash算法来实现分布式的K/V缓存，Memcached的特性是高效以及简单，但是不能用它来持久的存储数据，也就说，使用Memcached的时候，必须考虑，Memcached挂了的影响。Memcached使用简单，不过还是了解下Memcached的内存管理机制。 Memcached内存特点基于slab的内存分配策略基于LRU的内存清除策略...

2014-11-28 11:07:48 258

原创【Redis四】Redis数据类型

概述Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即stri...

2014-11-26 21:55:51 151

原创【Redis三】基于Redis sentinel的自动failover主从复制

在第二篇中使用2.8.17搭建了主从复制，但是它存在Master单点问题，为了解决这个问题，Redis从2.6开始引入sentinel，用于监控和管理Redis的主从复制环境，进行自动failover，即Master挂了后，sentinel自动从从服务器选出一个Master使主从复制集群仍然可以工作，如果Master醒来再次加入集群，只能以从服务器的形式工作。什么是Sentinel...

2014-11-26 13:48:32 249

原创【Redis二】Redis2.8.17搭建主从复制环境

开始使用Redis2.8.17Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。 Ubuntu上安装Redi...

2014-11-25 23:44:07 242

原创【Redis一】Redis2.4.5搭建主从复制环境

Redis主从复制搭建步骤 Redis搭建主从复制的步骤十分简单，以下在Windows上操作。注意，本文基于Redis2.4.5，属于较老版本，这里强调版本是在本文写完的时候补上的。对Redis的主从复制机制，失望透顶，没有任何的failover，不知道最新的2.8版本，以及即将出来的3.0版本，是否有改进。 1. 解压Redis压缩包至E:\devsoftware\...

2014-11-25 21:04:04 304

原创【Hadoop一】Hadoop伪集群环境搭建

结合网上多份文档，不断反复的修正hadoop启动和运行过程中出现的问题，终于把Hadoop2.5.2伪分布式安装起来，跑通了wordcount例子。Hadoop的安装复杂性的体现之一是，Hadoop的安装文档非常多，但是能一个文档走下来的少之又少，尤其是Hadoop不同版本的配置差异非常的大。Hadoop2.5.2于前两天发布，但是它的配置跟2.5.0，2.5.1没有分别。系统环境:...

2014-11-22 15:51:17 112

原创【Elastic Search】入门

一、Elastic Search总结介绍二、安装运行系统需要安装JRE1.6以上版本到http://www.elasticsearch.org/overview/elkdownloads/下载最新版本的ES，ES可以运行在Windows和Linux上解压运行bin目录底下的elasticsearch.bat即可启动ES。三、伪分布式运行Elastic Search...

2014-11-21 15:39:34 491

原创【MongoDB学习笔记十四】MongoDB分片自动均衡

假如MongoDB分片集群采用单调递增的字段作为片键，例如系统时间，那么随着插入的增多，越来越多的文档将插入到区间到正无穷的分片上，这样，分片将不均衡，MongoDB提供了自动均衡的方法来将数据量进行均衡。均衡进程的运行机制 The balancer is a background process that manages chunk migrations. Th...

2014-11-21 00:44:44 1138

原创 [MongoDB学习笔记十三]MongoDB创建分片

MongoDB分片简介MongoDB分片用于解决海量数据在多台机器上存储，如下所示：一个典型的分片架构如下本文在一台机器上，以1个路由服务器(mongos)，1个配置服务器，3个分片(每个分片仅仅包括一个MongoDB服务器，而不是副本集)来快速搭建一个MongoDB分片服务器二、搭建MongoDB分片服务器的步骤2.1 启动配置服务器 mongo...

2014-11-20 21:45:58 478

原创【MongoDB学习笔记十二】Mongo副本集服务器角色之Arbiter

一、复本集为什么要加入Arbiter这个角色回答这个问题，要从复本集的存活条件和Aribter服务器的特性两方面来说。什么是Artiber？An arbiter does not have a copy of data set and cannot become a primary. Replica sets may have arbiters to add a vote i...

2014-11-20 00:36:28 981

原创【MongoDB学习笔记十一】Mongo副本集基本的增删查

一、创建复本集假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令： mongod --port 27017 --dbpath data1 --replSet rs0mongod --port 27018 --dbpath data2 --replSet rs0mongod --port 27019 --dbpath ...

2014-11-19 22:07:57 185

原创【分布式数据一致性三】MongoDB读写一致性

本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括：数据一致性概述与CAP最终一致性(Eventually Consistency)网络分裂(Network Partition)问题多数据中心(Multi Data Center)多个写者(Multi Writer)最终一致性一致性图表(Consistency Chart)数据一致性概述...

2014-11-15 12:12:03 1210

原创【分布式数据一致性二】Zookeeper数据读写一致性

很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336 Zookeeper的数据同步协议Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时有很高读写性能，5...

2014-11-14 20:23:39 641

原创【分布式数据一致性一】CAP和一致性模型

CAP原理中，有三个要素：一致性(Consistency)可用性(Availability)分区容忍性(Partition tolerance)CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。对...

2014-11-13 11:31:59 378

bit1129的博客