stephen9527-CSDN博客

转载 nginx-tomcat-redis共享session

原文地址：http://www.cnblogs.com/lengfo/p/4260363.html1、从 github 获取 tomcat-redis-session-manager-master 源码，地址如下：https://github.com/jcoleman/tomcat-redis-session-manager 2、由于源码构建基于 gradle，请先配置 gradle 环境：配置g

2017-11-12 12:36:25 396

原创 spark环境搭建--Standalone模式

spark本身不存储数据，数据的存储和读取依赖的HDFS，因此开始可以先安装HDFS；下载spark和scala的安装压缩文件：tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C apptar -zxvf scala-2.10.6.tgz -C app修改配置文件:/etc/profileSCALA_HOME=/home/hadoop/app/

2017-03-15 20:52:03 453

原创第一个MapReduce程序

要编写一个mapreduce程序就需要编写一个map程序和一个reduce程序，一个WordCount示例：/* 编写map程序需要继承Mapper类，Mapper类有四个泛型参数，第一个表示的是输入数据的key的类型，第二参数为输入value的类型，第三个参数为输出数据的key的类型，第四个参数为输出数据的value的类型；通常是在map程序中读取文件，第一个参数默认情况下都是Long

2017-03-12 22:42:54 452

原创 centos6.5Redis安装

下载redis 2.8.7压缩文件http://download.redis.io/redis-stable.tar.gz1.解压安装文件[root@hadoop01 redis-stable]# tar -zxvf redis-stable.tar.gz -C /usr/local/2.进入到压缩目录[root@hadoop01 redis-stable]# make[roo

2017-03-12 16:31:15 410

原创 centos6.5安装mysql5.7.x版本

1.检查是否已经安装过相关服务rpm -qa | grep -i mysql2.如果已经安装过，则先卸载之前的rpm -e --nodeps xxxx3.解压安装压缩包tar -zxvf mysql-5.7.11-1.el6.x86_64.rpm-bundle.tar4.安装rpm -ivh mysql-community-server-5.7.11-1.el6.x86

2017-03-12 15:52:25 623

原创 storm分布式实时计算框架搭建

在storm集群中，有两类节点，主节点和工作节点，主节点运行着一个叫做Nimbus的守护进程，这个守护进程负责在集群中的分发代码，为工作节点分配任务，并监控故障。工作节点运行着叫supervisor的守护进程，一个storm拓扑结构在不同的机器上运行着众多的工作节点；1.安装前必须确保已经安装了zookeeper集群2.解压安装包tar -zxvf apache-storm-0.9

2017-03-12 14:01:49 916

原创 kafka环境搭建

1.解压文件tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/2.修改配置文件server.properties#每台服务器设置一个不同的id，每一台服务器的broker.id必须不一样，在集群中保持唯一 vi /home/hadoop/app/kafka_2.10-0.8.1.1/config/server.properties

2017-03-12 12:48:46 352

原创 Hbase安装

在安装hbase之前需要先选择hbase版本，不同的hbase版本可能支持的hadoop的版本不同，这里使用的是hbase-0.96.2-hadoop2版本。另外还需要同步各台主机的时间，否则可能刚启动好master就死掉；1.同步各台主机之间的时间：这里说下使用NTP(network time protocol)同步时间，选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动

2017-03-12 11:56:40 257