安装redis和kafka的

2019独角兽企业重金招聘Python工程师标准>>>

一,添加硬盘

1>挂载好新硬盘后输入fdisk -l命令看当前磁盘信息

2>可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区

3>进入fdisk命令，输入h可以看到该命令的帮助，按n进行分区

4>这里输入e即分为逻辑分区，按p即分为主分区，我们要将这块盘分为主分区即输入p

5>到这里输入该主分区为第几个主分区，由于是新盘我们输入1来分第一个主分区

6>First Cylinder是选择该分区的起始磁盘数，这里可自定义也可不做选择，默认是1，如无特殊需求强烈建议选择默认，也就是1来分区（直接按回车）

7>接下来是定义该分区的大小，如果按默认（按回车）即是使用全部可用存储额，也可以是用M或m单位结尾的数字(大写M是大B的意思，如果输入1M实际上是X8也就是8m的空间)，这里我们先分一个1G的空间，所以输入+1024m

8>之后输入w写入分区，等待结束皆可

9>再输入fdisk -l 可以看到我们刚才分的一个分区，之后用mkfs -t ext3 -c /dev/sdb1进行格式化，如有多个分区可把sdb1改成sdb2 sdb3...以此类推，具体可用fdisk -l看到每个分区的名字

10>上图蓝色部分是写硬盘卷标的，如不想要卷标可直接按回车，现在分区好了我们用mount 挂载一下该分区即可使用了，这里我把它挂载到mnt目录下，也可以自建一个目录挂载

11>来看一下分区大小是否和预定的一样，使用df -TH命令看一下当前挂载的分区和大小，看到我们刚分的分区了吧

12>如果想每次系统重启都能自动挂载该分区可修改/etc/fstab文件，在最后加一段 /dev/sdb1    /www    ext3    defaults 1 2 (格式说明：/dev/sdb1 代表哪个分区  ext3是该分区的格式 defaults 是挂载时所要设定的参数(只读，读写，启用quota等)，输入defaults包括的参数有(rw、dev、exec、auto、nouser、async) ，1是使用dump是否要记录，0是不要。 2是开机时检查的顺序，是boot系统文件就为1，其他文件系统都为2，如不要检查就为0)

二、安装redis

1>安装

wget http://download.redis.io/redis-stable.tar.gz

tar xvzf redis-stable.tar.gz

cd redis-stable

make

2>配置

方便期间用cp命令复制到usr目录下运行。

cp redis-server /usr/local/bin/

cp redis-cli /usr/local/bin/

然后新建目录，存放配置文件

mkdir /etc/redis

mkdir /var/redis

mkdir /var/redis/log

mkdir /var/redis/run

mkdir /var/redis/6379

在redis解压根目录中找到配置文件模板，复制到如下位置。

cp redis.conf /etc/redis/6379.conf

通过vim命令修改

daemonize yes

pidfile /var/redis/run/redis_6379.pid

logfile /var/redis/log/redis_6379.log

dir /var/redis/6379

最后运行redis：

$ redis-server /etc/redis/6379.conf

三、安装kafka

1>安装jdk

2>安装kafka

进入下载页面：http://kafka.apache.org/downloads.html 

3> 配置

/bin 启动和停止命令等。 

/config 配置文件 

/libs 类库 

4>启动和停止

1) 启动Zookeeper server： 

bin/zookeeper-server-start.sh config/zookeeper.properties &

2)启动Kafka server:

bin/kafka-server-start.sh config/server.properties &  

3) 停止

bin/kafka-server-stop.sh 

bin/zookeeper-server-stop.sh 

5> 单机连通性测试 

1) 运行producer：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

早版本的Kafka，--broker-list localhost:9092需改为--zookeeper localhost:2181 

2) 运行consumer：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在producer端输入字符串并回车，查看consumer端是否显示。

6> 分布式连通性测试

1) Zookeeper Server, Kafka Server, Producer都放在服务器server1上，ip地址为192.168.1.10 

Consumer放在服务器server2上，ip地址为192.168.1.12。 

2) 分别运行server1的producer和server2的consumer， 

bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test 

bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning

3) 在producer的console端输入字符串，consumer报Connection refused错误： 

broker, producer和consumer都注册到zookeeper上，producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上： 

文件server.properties上

# Hostname the broker will bind to. If not set, the server will bind to all interfaces  

#host.name=localhost  

原因是host名称没有指定，就是127.0.0.1，consumer去broker拿数据就有问题。设置为192.168.1.10，重启服务就好了。

转载于:https://my.oschina.net/yuanhotel/blog/512789