安装和部署-CSDN博客

本文链接：https://blog.csdn.net/m0_69708224/article/details/129276627

FLUME安装和配置

解压

cd /opt

mv apache_flume-1.7.0-bin/ flume

cd /opt/flume/conf

vi /root.bash_profile

export FLUME_HOME=/opt/flume

export PATH=$PATH:$FLUME_HOME/bin

source /root/.bash_profile(使更改生效)

重命名

mv flume-env.sh.template flume-env.sh

5、vi flume-env.sh

找到export JAVA_HOME,修改为

export JAVA_HOME=/opt/jdk1.8.0_131

输入flume-ngversion查看是否安装成功

SQOOP安装和配置

解压

cd /opt

mv sqoop-1.4.2.bin_hadoop-2.0.0-alpha/ sqoop

3、进入conf目录，修改环境变量

cd /opt/sqoop/conf

vi /root.bash_profile

export SQOOP_HOME=/opt/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

source /root/.bash_profile(使更改生效)

4、重命名

mv sqoop-env.template.sh sqoop-env.sh

5、vi sqoop-env.sh

将HADOOP_HOME以及HIVE_HOME补充完整

拷贝JDBC驱动

cp /usr/local/src/mysql-connector-java-5.1.49.jar/opt/sqoop/lib/

验证sqoop

Sqoop help

打开mysql远程连接权限

mysql -uroot -p

GRANT ALLPRIVILEGES ON *.* TO 'root'@'192.168.205.145(IP地址)' IDENTIFIED BY '123456';

Flushprivileges

Select *from user;

sqooplist-databases --connect jdbc:mysql://192.168.205.145:3306/ --username root--password 123456

出现如图， OK

ZooKeeper安装和配置

解压

配置环境变量

vi /root.bash_profile

export ZOOKEEPER_HOME=/opt/zookeeper(更名)

export PATH=$ ZOOKEEPER_HOME/bin

更改生效

source /root/.bash_profile

在/opt/zookeeper目录下创建一个文件夹，命名为zkData

cd /opt/zookeeperr

mkdir zkData

在cd /opt/zookeeper/zkData目下创建一个文件，命名为myid

cd /opt/zookeeper/zkData

touch myid

编辑myid的内容

添加与server对应的编号

Vi myid

拷贝配置好的zookeeper到slave1、slave2上

scp -r /opt/zookeeper/ root@slave1:/opt/

scp -r /opt/zookeeper/ root@slave2:/opt/

修改slave1、slave2的myid内容

分别为2和3

配置zoo.cfg文件

cd zookeeper/conf

mv zoo_sample.cfg zoo.cfg

# 把 dataDir 那一行修改成自己的地址，在文件最后再加上三行server的配置

[root@masterconf]# vim zoo.cfg

dataDir=/opt/zookeeper

dataDir：Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里

server.0=master:2888:3888

server.1=slave1:2888:3888

server.2=slave2:2888:3888

测试一下(在bin目录)——注意，启动前要关闭防火墙

# 在三个节点上分别执行命令，启动服务：./zkServer.sh start

# 在三个节点上分别执行命令，查看状态：./zkServer.sh status

# 正确结果应该是：三个节点中其中一个是leader，另外两个是follower（随机）

# 在三个节点上分别执行命令： jps

# 检查三个节点是否都有QuromPeerMain进程

Kafka安装和配置

解压（zxvf）

更名解压文件

cd /opt

mv kafka_2.1.3 /kafka

3、创建文件夹

cd/opt/kafka/config

mkdirlogs

mkdirdata

4、修改配置文件

viserver.properties

更改：

log.dirs=/opt/kafka/logs

zookeeper.connect=master:2181,slave1:2181,slave2:2181

5、配置环境变量

exportKAFKA_HOME=/opt/kafka

exportPATH=$PATH:$KAFKA_HOME/bin

6、传安装包和环境变量给slave1、slave2

scp-r /opt/kafka/ root@slave1:/opt/

scp-r /opt/kafka/ root@slave2:/opt/

scp/root/.bash_profile root@slave1:/root/.bash_profile

scp/root/.bash_profile root@slave2:/root/.bash_profile

7、分别在slave1和slave2上修改配置文件/opt/kafka/config/server.properties

cd/opt/kafka/config

viserver.properties

slave1: broker.id=1 、 broker.id=2

8、测试一下（保证集群以及zookeeper启动）

bin/kafka-server-start.sh -daemon config/server.properties（三个都要启动）