2016年11月_煉心_

12月 11月 10月 09月

原创 Hadoop伪分布式模式安装配置步骤

最近要升级Hadoop的版本，需要重新安装测试环境，特此记录一下安装配置步骤 O(∩_∩)O 1. 依赖软件 - Java：Hadoop 2.7及以上版本需要Java 7，之前的版本支持Java 6，本文使用Hadoop 2.6.5版本，所以安装Java 6就可以了 - ssh 2. 下载和解压Hadoop 2.1 如果服务器可以访问公网，可以执行以下

2016-11-29 11:29:11 1707

原创 Redis的集群创建步骤(非redis-trib.rb脚本方式)

本文目的仅用于测试验证创建集群的相关步骤，所以只是采用最简单的配置在同一个服务器部署了由3个节点组成的Redis集群 1. 创建集群步骤，本文使用Redis 3.2.5版本 1.1 创建配置文件目录，使用的端口分别为5000,5001和5002 [root@xxx ~]# cd /opt/redis-3.2.5 [root@xxx redis-3.2.5]# mkdir 500

2016-11-21 15:55:42 3993 3

原创 Redis的集群指南和配置参数

本文参考了Redis的英文官方指南 http://redis.io/topics/cluster-tutorial 1. 集群功能 - 能够自动把数据切分到集群的各个节点 - 当集群中的部分节点故障或者无法与集群通讯时，集群仍然可以继续运作 2. 集群分片 Redis集群使用的是一种叫哈希槽(hash slot)的分片形式，而不是一致性哈希(consist

2016-11-18 17:26:05 2188

原创 Redis的复制原理和配置参数

Redis使用的是master-slave主从复制模式，从2.8版本开始，这个过程是异步的。 1. 工作原理当一个slave首次或重新连接到master的时候，会向master发送一个PSYNC命令(2.8版本之前是SYNC命令)要求同步数据。 1.1 全量同步 Full resynchronization 当master接收到slave的同步命令之后会执

2016-11-10 09:01:58 1569 1

spark-core_2.11-1.5.2.logging.jar

spark-core_2.11-2.0.0.jar比spark-core_2.11-1.5.2.jar少了org.apache.spark.Logging.class，故此把缺少的class放到spark-core_2.11-1.5.2.logging.jar里面

2016-11-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人