@[TOC]基于hadoop的大数据集群搭建
一、 软件安装目录及版本信息: 3
- 软件安装目录及版本信息: 4
1.1 Jdk:jdk1.8.0_131 4
1.2 Hadoop:hadoop-2.8.2 4
1.3 mysql:5.5.47 4
1.4 Flume:apache-flume-1.6.0-bin 4
1.5 Storm:apache-storm-1.1.3 4
1.6 Hbase:hbase-1.2.6 4
1.7 Hive:apache-hive-1.2.0-bin 4
1.8 Redis:redis-4.0.12 4
1.9 Spark:spark-2.3.0-bin-hadoop2.6 4
1.10 Elasticsearch:elasticsearch-6.3.2 4
1.11 Azkaban:azkaban-db-0.1.0-SNAPSHOT 4
二、 安装VMware 虚拟机(centos6,cntos7) 5
三、 进行系统设置 30
(1) VMware虚拟机NAT模式上网设置 30
a. 虚拟机安装好后 30
b. 设置虚拟机NAT模式的网段 31
c. 编辑物理机的虚拟网卡地址(VMnet8) 31
1> .选择自动获取ip地址 31
2> .windows下查看本机ip 31
d. 编辑虚拟机的网卡IP地址,然后重启网卡服务让其生效。 32
1. 安装RZ传输软件 34
2. 使用rz软件传输软件包到 /opt下(路径自己选择) 34
3. 将各软件包传输到linux下 /opt 34
(6) 配置jdk环境(这里选的是jdk8) 34
四、 虚拟机克隆 35
五、 软件安装 36 - 安装zookeeper 36
- 安装Hadoop HA 39
a、 core-site.xml(common属性配置) 39
b、 配置hdfs-site.xml文件 40
c、 配置mapred-site.xml文件 41
d、 yarn-site.xml(关于yarn相关配置) 41
e、 配置slaves文件 指定datanode(从机相关配置ip,hostname) 41
f、 配置hadoop-env.sh文件 41 - 安装 Mysql 44
(1) 从新创建/克隆一个虚拟机(参照上文虚拟机克隆或者创建) 44
(2) 安装mysql 44
i. 更改密码 45
j. 设置所有机器访问mysql权限 45
a. 查看mysql有关依赖: 45
b. 删除原有mysql依赖: 45
c. 安装mysql客户端: 46
d. 安装mysql服务端: 46
e. 查询mysql的服务状态: 46
f. 启动mysql服务: 46
g. 设置开机自启mysql 46
h. 进入mysql 46
i. 更改密码 46
j. 设置所有机器访问myql权限 46
1.1. 安装 Hive(注:Hive只需在一个节点上安装) 46
(1) Hive和hadoop关系 46
(2) 将压缩文件进行解压 46
(3) 将hive解压包移到/usr/house/hive下 47
(4) 设置hive的环境变量 47
(5) 配置hive-site.xml文件 47
(6) 配置hive-env.sh文件 47
(7) Mysql可以创建单独的hive用户(安装mysql的节点上操作) 47
(8) 验证(启动hive服务时要先启动hadoop服务) 48 - 安装 Hbase(伪分布式单节点安装) 48
(1) 解压hbase安装包 (/opt) 48
(2) 将hbase解压包移到/usr/house/hbase下 48
(3) 配置hbase-env.sh文件添加如下 48
(4) 配置hbase-site.xml文件 49
(5) 配置regionserver文件 49
(6) 将hbase拷贝到2,3号机器(/usr/house/hbase) 49
(7) 验证(启动hbase服务在HMaster所在机器操作) 49 - 安装 Storm(三节点安装) 51
(1) 解压storm安装包(/opt) 51
(2) 将storm解压包移到/usr/house/storm 51
(3) 新建storm文本存储路径 51
(4) 配置storm.yaml配置文件 51
(5) 将storm复制到其他机器上(/usr/house/storm/) 52
(6) 验证(启动storm服务) 52 - 安装 Spark(三节点安装) 52
(1) 解压spark安装包 (/opt) 52
(2) 将spark解压包移到/usr/house/spark 53
(3) 配置spark配置文件 53
(4) 将spark安装包拷贝到2,3号机(usr/house/spark) 53
(5) 启动spark服务(HA) 53 - 安装 Redis(单节点安装) 54
- 1.安装curl 56
- 安装RVM 56
- 查看rvm库中已知的ruby版本 56
- 安装一个ruby版本(可离线安装) 56
- 查看Ruby版本 57
- 安装Redis库 57
- 安装 Elasticsearch(三节点安装) 58
a、创建elasticsearch用户 58
b、为elasticsearch设置密码 58
c、创建一个用户组 es 58 - 安装 Azkaban (单节点安装) 60
(1) 解压azkaban安装包(/opt) 60
(2) 将azkaban解压包移到/usr/house/azkaban 60
(3) 配置mysql数据库(mysql.icccuat机器上) 60
(4) 配置azkaban文件 61
(5) 将conf 和plugins下的文件传输到exec-server同等目录下 63
(6) 启动web-server 63
(7) 启动 exec-server 63 - 安装sqoop(单节点安装) 63
- Kafka安装(三节点安装) 64
5:开启consumer消费者(三台机子上都可以) 65
6:关闭kafka 65 - Flume安装(单节点安装) 66
(1) 解压flume安装包(/opt) 66
(2) 将flume解压包移到/usr/house/flume 66
(3) 配置环境变量 66
(4) 验证flume(查看flume版本) 66 - rocketMQ安装(单master安装单节点) 66
(1) Maven安装 66
(2) 安装rocketMQ 66
一、软件安装目录及版本信息:
1.软件安装目录及版本信息:
1.1Jdk:jdk1.8.0_131
下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/index.html
1.2Hadoop:hadoop-2.8.2
下载地址:
https://archive.apache.org/dist/hadoop/common/
1.3mysql:5.5.47
下载地址:
https://download.csdn.net/download/zmc921/9930540
1.4Flume:apache-flume-1.6.0-bin
下载地址:
https://www.apache.org/dist/flume/1.6.0/
1.5Storm:apache-storm-1.1.3
下载地址:
http://storm.apache.org/downloads.html
1.6Hbase:hbase-1.2.6
下载地址:
http://archive.apache.org/dist/hbase/1.2.6/
1.7Hive:apache-hive-1.2.0-bin
下载地址:
http://archive.apache.org/dist/hive/
1.8Redis:redis-4.0.12
1.9Spark:spark-2.3.0-bin-hadoop2.6
下载地址:
http://archive.apache.org/dist/spark/spark-2.3.0/
1.10Elasticsearch:elasticsearch-6.3.2
下载地址:
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-3-2
1.11 Azkaban:azkaban-db-0.1.0-SNAPSHOT
azkaban-exec-server-0.1.0-SNAPSHOT azkaban-solo-server-0.1.0-SNAPSHOT
azkaban-web-server-0.1.0-SNAPSHOT
1.11Zookeeper:zookeeper-3.4.7
下载地址:
http://archive.apache.org/dist/zookeeper/
1.12sqoop:sqoop-1.4.7.bin__hadoop-2.6.0
下载地址:
http://mirror.klaus-uwe.me/apache/sqoop/1.4.7/
1.13kafka:kafka_2.11-0.10.2.1
下载地址:
http://kafka.apache.org/downloads
1.14rocketMQ:alibaba-rocketmq-3.2.6-alibaba-rocketmq
二、安装VMware 虚拟机(centos6,cntos7)
虚拟机:VMware workstation11
Linux系统:CentOS-6.5-x86_64-bin-DVD1.iso
选择 新建虚拟机
选择 自定义
选择 稍后安装操作系统
选择 linux Centos64位
选定存储地址
Cpu颗数
默认内存1g
选择仅主机模式
磁盘50G(自行分配)
完成
编辑虚拟机设置
选择ISO镜像文件(CentOS-7-x86_64-DVD.iso,CentOS-6.5-x86_64-bin-DVD1.iso)选其一
开机
选 第一个