![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache集群搭建
shenjianyu_rex
这个作者很懒,什么都没留下…
展开
-
10.flink-1.11.1 安装部署
1 Standalone模式1.0 集群规划node06node07node08node10TaskManagerTaskManagerTaskManagerJobManager1.1 安装0)解压缩 flink-1.11.1-bin-scala_2.11.tgz,进入conf目录中。[root@node09 flink]# tar -zvxf flink-1.11.1-bin-scala_2.11.tgz /opt/module/1)修改 .原创 2020-09-04 16:46:37 · 1039 阅读 · 0 评论 -
9.Azkaban2.5 安装部署
1 安装前准备1.1 将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到node09:/opt/software目录下[root@node09 09_azkaban]# lltotal 98600-rw-r--r--. 1 root root 11157302 Aug 19 15:11 azkaban-executor-server-2.5.0.tar.gz-rw-r--r--. 1 root root 1928 Aug 19原创 2020-09-04 16:43:16 · 201 阅读 · 0 评论 -
8.hive安装 和 Hive环境准备 (hive on Spark 、Yarn队列配置)
1 Hive安装部署1)把apache-hive-3.1.2-bin.tar.gz上传到linux目录下2)解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[root@node09 06_hive]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/3)修改apache-hive-3.1.2-bin.tar.gz的名称为hive[root@node09 06_hive]# mv /o原创 2020-09-04 16:36:30 · 1028 阅读 · 0 评论 -
7.Sqoop1.4.6安装
1 下载并解压1.1下载地址http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/1.2上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到node09的/opt/software路径中1.3 解压sqoop安装包到指定目录,如:[root@node09 08_sqoop]# tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/原创 2020-09-04 16:27:47 · 307 阅读 · 0 评论 -
6.Centos7 MYSQL安装
1. 安装包准备1.1 卸载自带的Mysql-libs(如果之前安装过mysql,要全都卸载掉)[root@node09 bin]# rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps1.2 将安装包和JDBC驱动上传到/opt/software,共计6个01_mysql-community-common-5.7.29-1.el7.x86_64.rpm02_mysql-community-libs-5.7.29原创 2020-09-04 16:24:49 · 124 阅读 · 0 评论 -
5.Kafka安装
0.集群规划node06node07node08kafkakafkakafka1. jar包下载http://kafka.apache.org/downloads2.解压安装包[root@node09 05_kafka]# tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/3.修改解压后的文件名称[root@node09 module]# mv kafka_2.11-2.4.1/ kafka4.在/opt/modul原创 2020-09-04 16:21:23 · 85 阅读 · 0 评论 -
4.Flume1.9安装
1 Flume安装部署1.1 安装地址(1) Flume官网地址:http://flume.apache.org/(2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html(3)下载地址:http://archive.apache.org/dist/flume/1.2 安装部署(1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-flume-1.9.0-bi原创 2020-09-04 16:14:40 · 146 阅读 · 0 评论 -
3.Zookeeper 3.5.7 安装
1. 集群规划node06node07node08ZookeeperZookeeperZookeeper2. 解压安装2.1 解压Zookeeper安装包到/opt/module/目录下[root@node06 03_zookeeper]# tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/2.2 修改/opt/module/apache-zookeeper-3.5.7-bin名称为zookeep原创 2020-09-04 16:05:00 · 816 阅读 · 0 评论 -
2.hadoop-3.1.3 安装和配置
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/1.hadoop 安装1.1 解压安装[root@node09 ~]# cd /opt/software/[root@node09 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/1.2 将Hadoop添加到环境变量[root@node09 hadoop-3.1.3]# sudo v原创 2020-09-04 15:39:24 · 1056 阅读 · 0 评论 -
1.Centos7.6 环境准备
1. 修改主机名称[root@node09 ~]# hostnamectl set-hostname node09[root@node09 ~]# hostname node09[root@node09 ~]# reboot2. 配置主机名称映射[root@node09 ~]# vim /etc/hosts添加主机配置192.168.2.165 node06192.168.2.166 node07192.168.2.167 node08192.168.2.176 node09192原创 2020-09-04 15:29:24 · 221 阅读 · 0 评论