集群

查看 SELinux状态及关闭SELinux
标签：SELinux
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://bguncle.blog.51cto.com/3184079/957315
查看SELinux状态：
1、/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态
SELinux status:                 enabled
2、getenforce                 ##也可以用这个命令检查
关闭SELinux：
1、临时关闭（不用重启机器）：
setenforce 0                  ##设置SELinux 成为permissive模式
                              ##setenforce 1 设置SELinux 成为enforcing模式
2、修改配置文件需要重启机器：
修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
本文出自 “孤星雨” 博客，请务必保留此出处http://bguncle.blog.51cto.com/3184079/957315
https://github.com/mongodb/mongo-hadoop.git



；
一、jdk安装
安装版本为 64位 jdk-7u51-linux-x64.tar.gz

1.解压配置安装

# mkdir -p /usr/lib/jvm
# tar  -zxvf jdk-7u51-linux-x64.tar.gz -C /usr/lib/jvm

2、添加jdk7.0到系统环境变量
＃　cp /etc/profile /etc/profile.bak #备份
＃　vi /etc/profile #编辑,在最后添加下面的内容
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

3.＃　source /etc/profile 　　　#使配置文件立即生效

二、安装zookeeper
版本zookeeper-3.5.0
前提条件是已安装了jdk
单机模式

1.单 机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录
如：/home/zookeeper-3.5.0-alpha 下
2.修改配置信息
在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。
 tickTime=2000
 dataDir=/tmp/zookeeper
 clientPort=2181
tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
当这些配置项配置好后，你现在就可以启动 Zookeeper 了，启动后要检查 Zookeeper 是否已经在服务，可以通过 netstat – ano 命令查看是否有你配置的 clientPort 端口号在监听服务。

3.Zookeeper 的启动脚本在 bin 目录下，
Linux 下的启动脚本是 ./zkServer.sh start

三、安装mysql-5.6.27



必要软件包
yum -y install  gcc gcc-c++ gcc-g77 autoconf automake zlib* fiex* libxml* ncurses-devel libmcrypt* libtool-ltdl-devel* make cmake

创建mysql 用户及用户组：
groupadd mysql
useradd -r -g mysql mysql



解包
[root@host2 mysql_rpm]# tar -xvf MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpm    #MySQL客户端程序
MySQL-devel-5.6.27-1.linux_glibc2.5.x86_64.rpm     #MySQL客户端程序
MySQL-embedded-5.6.27-1.linux_glibc2.5.x86_64.rpm   #MySQL的嵌入式程序
MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm     #MySQL服务端程序
MySQL-shared-5.6.27-1.linux_glibc2.5.x86_64.rpm     #MySQL的共享库
MySQL-shared-compat-5.6.27-1.linux_glibc2.5.x86_64.rpm    #RHEL兼容包
MySQL-test-5.6.27-1.linux_glibc2.5.x86_64.rpm    #MySQL的测试组件
[root@host2 mysql_rpm]#
[root@host2 mysql_rpm]# rpm -ivh MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:MySQL-server           ########################################### [100%]
warning: user mysql does not exist - using root
warning: group mysql does not exist - using root

[root@host2 mysql_rpm]#

8
已经有了mysql用户和组
[root@host2 mysql_rpm]# id mysql
uid=495(mysql) gid=492(mysql) groups=492(mysql)

[root@host2 mysql_rpm]# nl /etc/group | grep mysql
    60    mysql:x:492:
[root@host2 mysql_rpm]# cat /etc/group | grep mysql
mysql:x:492:
[root@host2 mysql_rpm]# cat /etc/shadow | grep mysql
mysql:!!:16455::::::
[root@host2 mysql_rpm]#


10
copy配置文件
# 没有这一步也可以按内置参数
[root@host2 mysql_rpm]# cp /usr/share/mysql/my-default.cnf /etc/my.cnf
[root@host2 mysql_rpm]#

11
start
[root@host2 mysql_rpm]# service mysql status
MySQL is not running                                       [FAILED]
[root@host2 mysql_rpm]# service mysql start
Starting MySQL..                                           [  OK  ]
 
11
查验
[root@host2 mysql_rpm]# netstat -anpl | grep mysql
tcp        0      0 :::3306                     :::*                        LISTEN      5924/mysqld         
unix  2      [ ACC ]     STREAM     LISTENING     76015  5924/mysqld         /var/lib/mysql/mysql.sock
[root@host2 mysql_rpm]#

12
安装客户端
[root@host2 mysql_rpm]# rpm -ivh MySQL-client-5.6.22-1.linux_glibc2.5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:MySQL-client           ########################################### [100%]
[root@host2 mysql_rpm]#

13
连到mysql并修改
[root@host2 mysql_rpm]# nl /root/.mysql_secret
     1    # The random password set for the root user at Tue Jan 20 13:10:43 2015 (local time): F76Wy1A4G9ZuLcaG
       
[root@host2 mysql_rpm]# mysql -p mysql
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.6.22

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
ERROR 1820 (HY000): You must SET PASSWORD before executing this statement
mysql>
mysql>  SET PASSWORD = PASSWORD('123456');
Query OK, 0 rows affected (0.31 sec)

mysql> flush privileges;
mysql> \q
Bye
[root@host2 mysql_rpm]#


三、安装mongodb3.0.4
执行的是红色部分
1.建立数据文件夹
一般情况下不会把数据目录建立在mongodb的解压目录下，不过这里方便起见，就建在mongodb解压目录下吧。
[plain]view plaincopy
mkdir -p /mongodb/data/master   
mkdir -p /mongodb/data/slaver   
mkdir -p /mongodb/data/arbiter    
#三个目录分别对应主，备，仲裁节点  
2.建立配置文件
由于配置比较多，所以我们将配置写到文件里。
[plain]view plaincopy
#master.conf  
dbpath=/mongodb/data/master  
logpath=/mongodb/log/master.log  
pidfilepath=/mongodb/master.pid  
directoryperdb=true  
logappend=true  
replSet=testrs  
bind_ip=192.168.1.229
port=27017  
oplogSize=10000  
fork=true  
noprealloc=true
#auth=true
[plain]view plaincopy
#slaver.conf  
dbpath=/mongodb/data/slaver  
logpath=/mongodb/log/slaver.log  
pidfilepath=/mongodb/slaver.pid  
directoryperdb=true  
logappend=true  
replSet=testrs  
bind_ip=192.168.1.229  
port=27017  
oplogSize=10000  
fork=true  
noprealloc=true  
#auth=true
[plain]view plaincopy
#arbiter.conf  
dbpath=/mongodb/data/arbiter  
logpath=/mongodb/log/arbiter.log  
pidfilepath=/mongodb/arbiter.pid  
#directoryperdb=true  
#logappend=true  
replSet=testrs  
bind_ip=192.168.1.229
port=27017  
#oplogSize=10000  
fork=true  
#noprealloc=true  
#auth=true
参数解释：
dbpath：数据存放目录
logpath：日志存放路径
pidfilepath：进程文件，方便停止mongodb
directoryperdb：为每一个数据库按照数据库名建立文件夹存放
logappend：以追加的方式记录日志
replSet：replica set的名字
bind_ip：mongodb所绑定的ip地址
port：mongodb进程所使用的端口号，默认为27017
oplogSize：mongodb操作日志文件的最大大小。单位为Mb，默认为硬盘剩余空间的5%
fork：以后台方式运行进程
noprealloc：不预先分配存储

以上配置本地未执行成功，我是使用以下命令行方式执行
./mongod --dbpath=/data/mongodb/db --logpath=/data/mongodb/logs/master.log --logappend --pidfilepath=/data/mongodb/master.pid --directoryperdb --replSet=testrs oplogSize=10000  --port=27017 --fork
使用 --directoryperdb oplogSize=10000 会报错
采用以下启动mongodb
./mongod --dbpath=/data/mongodb/db/master --logpath=/data/mongodb/logs/master.log --logappend --pidfilepath=/data/mongodb/master.pid --replSet=testrs --port=27017  --fork
./mongod --dbpath=/data/mongodb/db/slaver --logpath=/data/mongodb/logs/slaver.log --logappend --pidfilepath=/data/mongodb/slaver.pid --replSet=testrs  --port=27018  --fork
./mongod --dbpath=/data/mongodb/db/arbiter --logpath=/data/mongodb/logs/arbiter.log --logappend --pidfilepath=/data/mongodb/arbiter.pid  --replSet=testrs  --port=27019 --fork
或者通过以下命令执行
./mongod -f ../conf/master/master.conf
./mongod -f ../conf/slaver/slaver.conf
./mongod -f ../conf/arbiter/arbiter.conf


终止服务器进程
>./mongo -p 27017
>use admin;
>db.shutdownServer();
终止数据库服务器进程
也可以：ps -ef |grep mongod   通过kill -9 pid 关闭 但是有可能造成数据的损坏kill -15 pid




3.启动mongodb
进入每个mongodb节点的bin目录下
[java]view plaincopy
./monood -f master.conf  
./mongod -f slaver.conf  
./mongod -f arbiter.conf  
注意配置文件的路径一定要保证正确，可以是相对路径也可以是绝对路径。

4.配置主，备，仲裁节点
可以通过客户端连接mongodb，也可以直接在三个节点中选择一个连接mongodb。
[plain]view plaincopy
./mongo 10.10.148.130:27017   #ip和port是某个节点的地址  
>use admin  
>cfg={ _id:"testrs", members:[ {_id:0,host:'192.168.1.229:27017',priority:2}, {_id:1,host:'192.168.1.229:27017',priority:1},{_id:2,host:'192.168.1.229:27017',arbiterOnly:true}] };  
>cfg={ _id:"testrs", members:[ {_id:0,host:'127.0.0.1:27017',priority:2}, {_id:1,host:'127.0.0.1:27018',priority:1},{_id:2,host:'127.0.0.1:27019',arbiterOnly:true}] };
>rs.initiate(cfg)             #使配置生效  
       cfg是可以任意的名字，当然最好不要是mongodb的关键字，conf，config都可以。最外层的_id表示replica set的名字，members里包含的是所有节点的地址以及优先级。优先级最高的即成为主节点，即这里的10.10.148.130:27017。特别注 意的是，对于仲裁节点，需要有个特别的配置——arbiterOnly:true。这个千万不能少了，不然主备模式就不能生效。
实际部署中还有一点需要注意，IP地址用公网可访问的ip，不然客户端调用会有问题
cfg={ _id:"testrs", members:[ {_id:0,host:'192.168.1.229:27017',priority:2}, {_id:1,host:'192.168.1.229:27018',priority:1},{_id:2,host:'192.168.1.229:27019',arbiterOnly:true}] };
      配置的生效时间根据不同的机器配置会有长有短，配置不错的话基本上十几秒内就能生效，有的配置需要一两分钟。如果生效了，执行rs.status()命令会看到如下信息：
[plain]view plaincopy
{  
        "set" : "testrs",  
        "date" : ISODate("2013-01-05T02:44:43Z"),  
        "myState" : 1,  
        "members" : [  
                {  
                        "_id" : 0,  
                        "name" : "10.10.148.130:27017",  
                        "health" : 1,  
                        "state" : 1,  
                        "stateStr" : "PRIMARY",  
                        "uptime" : 200,  
                        "optime" : Timestamp(1357285565000, 1),  
                        "optimeDate" : ISODate("2013-01-04T07:46:05Z"),  
                        "self" : true  
                },  
                {  
                        "_id" : 1,  
                        "name" : "10.10.148.131:27017",  
                        "health" : 1,  
                        "state" : 2,  
                        "stateStr" : "SECONDARY",  
                        "uptime" : 200,  
                        "optime" : Timestamp(1357285565000, 1),  
                        "optimeDate" : ISODate("2013-01-04T07:46:05Z"),  
                        "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),  
                        "pingMs" : 0  
                },  
                {  
                        "_id" : 2,  
                        "name" : "10.10.148.132:27017",  
                        "health" : 1,  
                        "state" : 7,  
                        "stateStr" : "ARBITER",  
                        "uptime" : 200,  
                        "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),  
                        "pingMs" : 0  
                }  
        ],  
        "ok" : 1  
}  
如果配置正在生效，其中会包含如下信息：
[plain]view plaincopy
"stateStr" : "RECOVERING"  

同时可以查看对应节点的日志，发现正在等待别的节点生效或者正在分配数据文件。
       现在基本上已经完成了集群的所有搭建工作。至于测试工作，可以留给大家自己试试。一个是往主节点插入数据，能从备节点查到之前插入的数据（查询备节点可能 会遇到某个问题，可以自己去网上查查看）。二是停掉主节点，备节点能变成主节点提供服务。三是恢复主节点，备节点也能恢复其备的角色，而不是继续充当主的 角色。二和三都可以通过rs.status()命令实时查看集群的变化。



四、redis集群部署


cd redis---/src
make
1、如果报错报了“/bin/sh: cc: command not found”的错误  没用gcc
安装过程
    yum install cpp
    yum install binutils
    yum install glibc
    yum install glibc-kernheaders
    yum install glibc-common
    yum install glibc-devel
    yum install gcc
    yum install make
注意gcc依赖了很多东西，有些包可能系统已经 装了，有些没有，防止出意外，最好都走一遍

2.再次执行make
报错
 make[1]: Entering directory `/software/redis-2.8.8/src'
    CC adlist.o
In file included from adlist.c:34:
zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory
zmalloc.h:55:2: error: #error "Newer version of jemalloc required"
make[1]: *** [adlist.o] Error 1
make[1]: Leaving directory `/software/redis-2.8.8/src'
make: *** [all] Error 2

执行  make MALLOC=libc

执行 make test 报错
[root@ip-172 src]# make test
You need tcl 8.5 or newer in order to run the Redis test
make: *** [test] Error 1


少包、需要安装tcl 执行以下命令
wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz  
sudo tar xzvf tcl8.6.1-src.tar.gz  -C /usr/local/  
cd  /usr/local/tcl8.6.1/unix/  
sudo ./configure  
sudo make  
sudo make install  
再次执行make test
成功后执行[root@ip-172-31-6-155 src]# make install

Hint: It's a good idea to run 'make test' ;)

    INSTALL install

    INSTALL install

    INSTALL install

    INSTALL install

    INSTALL install




redis   集群搭建
采用官方Sentinel组件大家集群
测试环境部署在一台机器，所以这里就通过端口区分
1.新建server文件夹 >mkdir server
2.cp redis.conf server/redis_m.conf    主服务器配置文件
3.cp redis.conf server/redis_s1.conf    从服务器配置文件

redis_m.conf修改配置文件内容 修改以下对应的值
daemonize yes
pidfile "/data/redis-3.0.4/redis-server-m.pid"
port 6379
logfile "/data/redis-3.0.4/redis-server-m.log"
dbfilename "dump.rdb"
dir ./
appendonly yes
aof-load-truncated yes

redis_s1.conf修改配置文件内容 修改以下对应的值
daemonize yes
pidfile "/data/redis-3.0.4/redis-server-s1.pid"
port 6380
logfile "/var/log/redis/redis-server-s1.log"
databases 16
dbfilename "dump.rdb"
dir "/data/redis-3.0.4/server"
# slaveof <masterip> <masterport>
slaveof 54.223.43.17 6379
slave-serve-stale-data yes
slave-read-only yes
appendonly yes
appendfilename "appendonly.aof"
no-appendfsync-on-rewrite no
aof-load-truncated yes
aof-rewrite-incremental-fsync yes


启动主从实例
[root@ip-172-31-6-155 redis-3.0.4]# redis-server server/redis_m.conf &
[root@ip-172-31-6-155 redis-3.0.4]# redis-server server/redis_s1.conf &
[root@ip-172-31-6-155 redis-3.0.4]# redis-server server/redis_s2.conf &  以此类推


修改配置sentinel.conf
port 26379
dir /tmp
sentinel monitor mymaster 127.0.0.1 6379 1  //注意这个1 是权重值
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000

启动Sentinel
[root@ip-172-31-6-155 redis-3.0.4]# redis-server sentinel.conf  --sentinel  &
 

转载于:https://my.oschina.net/u/2533897/blog/631167