大数据全家桶安装及启动JDK，mysql，canal，Zookeeper，Hadoop，Hive，Hbase，Datax，kylin，kafka，spark，flink，redis，zeppelin等

最新推荐文章于 2023-05-25 11:35:58 发布
置顶 最新推荐文章于 2023-05-25 11:35:58 发布
阅读量978 收藏 7
点赞数 2
分类专栏： HADOOP 文章标签： hadoop 大数据 linux 数据库 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/data_curd/article/details/106198692
版权
本文详述了一步步搭建大数据环境的过程，涵盖了从安装JDK、MySQL，到设置Canal、Zookeeper，再到启动Hadoop、Hive、Hbase等关键组件。还涉及了Datax、kylin、kafka、spark、flink、redis和Zeppelin的安装。整个流程在Linux环境下进行，包括了虚拟机的配置、防火墙和selinux的关闭、免密登录等预处理步骤。
摘要由CSDN通过智能技术生成

​

准备虚拟机

  • 用户名:root
  • 密码:123456
  • IP: 192.168.100.100
  • 主机名: node01

修改虚拟机IP地址:

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
HWADDR=00:0C:29:61:02:EC
TYPE=Ethernet
UUID=78ce60bd-12ff-4f76-9783-c1ddba997090
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static

IPADDR=192.168.100.100
GATEWAY=192.168.100.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

修改主机名(重启后永久生效)

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node01

设置ip和域名映射

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.100.100 node01 node01.hadoop.com

关闭防火墙

service iptables stop #关闭防火墙
chkconfig iptables off #禁止开机启动

关闭selinux

vi /etc/selinux/config

SELINUX=disabled

免密码登录

ssh-keygen -t rsa

ssh-copy-id node01

时钟同步

## 安装
yum install -y ntp

## 启动定时任务
crontab -e

## 随后在输入界面键入
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

rz安装

yum -y install lrzsz

nc安装

yum install -y nc

测试nck

nc -lk 9999

文件夹规划

mkdir -p /export/servers    # 安装目录
mkdir -p /export/softwares  # 软件包存放目录
mkdir -p /export/scripts    # 启动脚本目录

安装JDK

查看自带的openjdk

rpm -qa | grep java

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cDIEi4CS-1589797262624)(assets/1569122548836.png)]

卸载

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

上传并解压

rz上传jdk-8u141-linux-x64.tar.gz到softwares目录中

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

重新加载环境变量

source /etc/profile

此时, java和javac命令都可以使用了

MySql安装

安装步骤

  1. 上传tar包

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-riOtIl7f-1589797262627)(assets/1558497513983.png)]

  2. 解压

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BOF2gLYo-1589797262630)(assets/1558497763834.png)]

  3. 卸载历史MySql

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0uMvonKt-1589797262631)(assets/1558497974334.png)]

    # 搜索mysql相关依赖
rpm -qa | grep mysql
# 卸载查询到的所有依赖
rpm -e --nodeps mysql-libs-5.1.73-8.el6_8.x86_64

  4. 顺序安装

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BtftJAj8-1589797262634)(assets/1558498345558.png)]

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cho0S9fV-1589797262636)(assets/1558498497274.png)]

    # 查询mysql所有的安装包
cd /export/softwares/mysql-5.7
ll
# 依次安装下列依赖
rpm -ih mysql-community-common-5.7.26-1.el6.x86_64.rpm
rpm -ih mysql-community-libs-5.7.26-1.el6.x86_64.rpm 
rpm -ih mysql-community-client-5.7.26-1.el6.x86_64.rpm
rpm -ih mysql-community-server-5.7.26-1.el6.x86_64.rpm
rpm -ih mysql-community-devel-5.7.26-1.el6.x86_64.rpm   # 供后续superset使用

  5. 初始化

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0O2WgQS5-1589797262639)(assets/1558498601105.png)]

    # 启动Mysql服务
service mysqld start

  6. 查询初始密码

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BlYs8CM0-1589797262640)(assets/1558498659003.png)]

    grep 'temporary password' /var/log/mysqld.log

  7. 登录MySql系统, 修改密码

   # 登录系统
   mysql -uroot -paVGidM5/.RtN
   # 修改密码,密码默认是8位,并且包含大小写字母+特殊字符+数字
   ALTER USER 'root'@'localhost' IDENTIFIED BY 'MySql5.7';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aWG0HRID-1589797262642)(assets/1558500805405.png)]

查看密码规则:

   SHOW VARIABLES LIKE 'validate_password%';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SktOBdMf-1589797262644)(assets/1558500941206.png)]

关于 mysql 密码策略相关参数:

  1. validate_password_length 固定密码的总长度；
  2. validate_password_dictionary_file 指定密码验证的文件路径；
  3. validate_password_mixed_case_count 整个密码中至少要包含大/小写字母的总个数
  4. validate_password_number_count 整个密码中至少要包含阿拉伯数字的个数；
  5. validate_password_policy 指定密码的强度验证等级，默认为 MEDIUM；

关于 validate_password_policy 的取值：

  • 0/LOW：只验证长度；
  • 1/MEDIUM：验证长度、数字、大小写、特殊字符；
  • 2/STRONG：验证长度、数字、大小写、特殊字符、字典文件；
  1. validate_password_special_char_count 整个密码中至少要包含特殊字符的个数；
**修改密码规则【选做】:**

   set global validate_password_policy=LOW;
   set global validate_password_length=6; 
   ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-n4UmmsUj-1589797262647)(assets/1558501305997.png)]

  1. 设置远程登录

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gtPy0KRl-1589797262648)(assets/1558501680556.png)]

    # 赋予root用户远程登录的权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
# 刷新权限
flush privileges;

  2. 测试远程登录

    使用SqlYog测试是否可以远程连接到node01的mysql

在这里插入图片描述

  1. 配置MySql开机自启

    chkconfig mysqld on

MySql开启binlog

  1. 使用vi打开/etc/my.cnf

  2. 添加以下配置

    [mysqld]
log-bin=/var/lib/mysql/mysql-bin
binlog-format=ROW
server_id=1

    注释说明

    # 配置binlog日志的存放路径为/var/lib/mysql目录，文件以mysql-bin开头
    log-bin=/var/lib/mysql/mysql-bin

    # 配置mysql中每一行记录的变化都会详细记录下来
    binlog-format=ROW

    # 配置当前机器器的服务ID（如果是mysql集群，不能重复）
    server_id=1

  3. 重启mysql

    service mysqld restart

  4. mysql -u root -p登录到mysql，执行以下命令

    show variables like '%log_bin%';

  5. mysql输出以下内容，表示binlog已经成功开启

    +---------------------------------+--------------------------------+
| Variable_name                   | Value                          |
+---------------------------------+--------------------------------+
| log_bin                         | ON                             |
| log_bin_basename                | /var/lib/mysql/mysql-bin       |
| log_bin_index                   | /var/lib/mysql/mysql-bin.index |
| log_bin_trust_function_creators | OFF                            |
| log_bin_use_v1_row_events       | OFF                            |
| sql_log_bin                     | ON                             |
+---------------------------------+--------------------------------+
6 rows in set (0.00 sec)

  6. 进入到/var/lib/mysql可以查看到mysql-bin.000001文件已经生成

Canal安装

  1. 上传canal.deployer-1.0.24.tar.gz到/export/softwares目录

  2. 在/export/servers下创建canal目录，一会直接将canal的文件解压到这个目录中

    cd /export/servers
mkdir canal

  3. 解压canal到/export/servers目录

    cd /export/softwares
tar -xvzf canal.deployer-1.0.24.tar.gz -C ../servers/canal

  4. 修改canal/conf/example目录中的instance.properties文件

    ## mysql serverId
canal.instance.mysql.slaveId = 1234
  
# position info
canal.instance.master.address = node01:3306
canal.instance.dbUsername = root
canal.instance.dbPassword = 123456
    1. canal.instance.mysql.slaveId这个ID不能与之前配置的service_id重复
    2. canal.instance.master.address配置为mysql安装的机器名和端口号

​

  1. 执行/export/servers/canal/bin目录中的startup.sh启动canal

    cd /export/servers/canal/bin
./startup.sh

  2. 控制台如果输出如下，表示canal已经启动成功

    cd to /export/servers/canal/bin for workaround relative path
LOG CONFIGURATION : /export/servers/canal/bin/../conf/logback.xml
canal conf : /export/servers/canal/bin/../conf/canal.properties
CLASSPATH :/export/servers/canal/bin/../conf:/export/servers/canal/bin/../lib/zookeeper-
...
cd to /export/servers/canal/bin for continue

    注意：

    Canal的远程连接端口号默认为11111，当然如果需要，可以在canal.properties文件中修改

重置Canal和MySql的binlog位置

重置mysql的binlog
  1. 进入mysql, mysql -uroot -p123456
  2. reset master;
  3. show master status;
删除zookeeper中的数据
  1. rmr /otter/canal
删除

Zookeeper的安装

上传压缩包并解压

zookeeper-3.4.9.tar.gz

tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/

配置zookeeper

cd /export/servers/zookeeper-3.4.9/conf/

cp zoo_sample.cfg zoo.cfg

mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/

vim zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/export/servers/zookeeper-3.4.9/zkdatas
# the port at which the clients will connect
clientPort=2181

# 保留多少个快照
autopurge.snapRetainCount=3
# 日志多少小时清理一次
autopurge.purgeInterval=1
# 集群中服务器地址
server.1=node01:2888:3888

创建myid

echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid

启动

# 后台启动
/export/servers/zookeeper-3.4.9/bin/zkServer.sh start

# 前台启动
/export/servers/zookeeper-3.4.9/bin/zkServer.sh start-foreground

# 查看启动状态
/export/servers/zookeeper-3.4.9/bin/zkServer.sh  status

jps查看

可以观察到下列进程

QuorumPeerMain

配置环境变量

vi /etc/profile

export ZK_HOME=/export/servers/zookeeper-3.4.9
export PATH=:$ZK_HOME/bin:$PATH

重新加载环境变量source /etc/profile

安装Hadoop

集群规划

服务器IP 192.168.174.100
主机名 node01
NameNode 是
SecondaryNameNode 是
dataNode 是
ResourceManager 是
NodeManager 是

上传apache hadoop包并解压

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

修改core-site.xml

cd /export/servers/hadoop-2.7.5/etc/hadoop

最低0.47元/天 解锁文章
西安人走哪都要吃泡馍
关注
专栏目录
大数据DataX（七）：HBase导入到MySQL
Lansonli（蓝深李）的博客
02-22 6936
简而言之，HbaseReader 通过 HBase 的 Java 客户端，通过 HTable, Scan, ResultScanner 等 API，读取你指定 rowkey 范围内的数据，并将读取的数据使用 DataX 自定义的数据类型拼装为抽象的数据集，并传递给下游 Writer 处理。将HBase中的数据导入到MySQL中，这里使用到“HBaseReader”和“MySQLWriter”，前面已经介绍过“MySQLWriter”，下面介绍“HBaseReader”。
大数据DataX（六）：MySQL导入到HBase
Lansonli（蓝深李）的博客
02-21 7000
简而言之，HbaseWriter 通过 HBase 的 Java 客户端，通过 HTable，Put等 API，将从上游Reader读取的数据写入HBase你hbase11xwriter与hbase094xwriter的主要不同在于API的调用不同，Hbase1.1.x废弃了很多Hbase0.94.x的api。将Mysql数据 同步到HBase需要使用到“MysqlReader”和“HbaseWriter”两个插件，前面介绍过MysqlReader插件，这里不再赘述，下面介绍“HbaseWriter”。
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
大数据，hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建
liuguangfudan的博客
03-30 6650
大数据环境搭建1、Virtual Box 4.1 2、CentOS 6.5 3、JDK 1.7 4、SecureCRT（自己下载） 5、WinSCP（自己下载） 6、Hadoop 2.4.1 7、Hive 0.13 8、ZooKeeper 3.4.5 9、kafka_2.9.2-0.8.1 10、Spark 1.3.0 11、Spark 1.5 12、flume-ng-1.5.
datax同步数据：数据源：mysql，目标源：hbase
anguoan的博客
02-20 241
datax同步数据：数据源：mysql，目标源：hbase
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop中常见组件的常用命令：Hadoop、Flume、Hive、Zookeeper、Hbase、Spark、Kafka、Redis、Flink
weixin_40612128的博客
03-18 1291
一、Hadoop 启动 start-all.sh 停止 stop-all.sh 查看进程 jps jps -m ps -ef |grep 进程名称 1、hdfs 2、MapReduce 3、Yarn 二、Flume 1、启动flume任务方式1： flume-ng agent --name a1 --conf conf --conf-file conf/example.conf -Dflume.root.logger=INFO,console 2、启动命令1解释： 后面指定agent，表示启动一个
linux jdk，hadoop，zookeeper, hive , zeppelin ,sqoop ,hbase,scala,spark，flume,kafka 安装终极脚本全家桶安装
一个学习的博客
11-26 1545
shellz只需要在opt准备两个文件夹，一个install存放压缩包，soft存放解压后的文件就行 接着就开始运行脚本，脚本随便创建一个文件吧脚本拷贝进去，赋权运行就行 里面所有的ip地址改为自己的就行。虚拟机你的hostname一定要设置好，不然脚本里面所有的$hostname，你都要改为你的ip地址就行 #!/bin/bash jdk=true hadoop=true zk=true hive=true zp=true sqoop=true hbase=true ..
canal 集成kerberos二次编译
03-11
canal整合集成了kerberos的kafka，完成全线认证，二次编译源码，使通过配置支持kerberos，源码包，详情见https://blog.csdn.net/MrZhangBaby/article/details/88394291
Canal 文档
03-04
Canal 介绍，以及部署文档。。。。。。。vvvvvvvvvvvvv
MySQL学习笔记+python接收传感器+python将数据写入MySQL+PHP连接本地MySQL
03-12
自己做项目的时候一些学习笔记，MySQL学习笔记+python接收传感器+python将数据写入MySQL+PHP连接本地MySQL
datax将mysql导入文本_使用阿里Datax从Mysql向Hbase导入数据
weixin_42297444的博客
02-01 264
2.为什么使用Datax不使用Sqoop？在工作中，有这么一个需求：从mysql中向Hbase中导入数据，其中Hbase的Rowkey由Mysql库中第一个字段A与第二个地段B通过下划线拼接而成，即：Rowkey=A_B.而使用Sqoop导入数据只能指定一个字段(目前探索是这样，如果有误请大家指教)，而Datax则提供了相关配置，可以根据数据源表字段设计Hbase的Rowkey字段，因此方便了很多...
Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列
最新发布
qq_53679247的博客
05-25 1134
记录一下zookeeper的路径然后。使用vim进入zoo.cfg。按照提示杀死进程2089。额，这好像是成功了哈哈！这里提供清华大学的镜像站。创建日志/数据文件夹。创建文件夹加文件下载。查看habse源文件。
hadoop全家桶部署手册hadoop-solr-ranger-atlas-hive-hbase...
Dave_Fong的博客
06-18 755
atlas是什么？ atlas使用场景？ atlas安装？ 环境要求 组件要求 安装方式 启动方式 参数说明
hadoop中HBase、Flume、Hive、Zookeeper简要概述
suibianshen2012的专栏
09-07 1740
（1）HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般
大数据集群搭建（jdk、hadoop、hive、mysql、spark、flume、zookeeper）
qq_38220334的博客
03-20 786
集群环境 目录 版本 系统 centos7 jdk 1.8 hadoop 2.6.1 导管 $1 细节记录：（放在搭建文档下面） 第一步：怎么找Hadoop的历史版本 点击下载 点击历史版本，选择2.6.1即可
大数据-Hadoop-搭建-(三)：CDH大数据全家桶【统一安装管理HDFS、YARN、Zookeeper、Kafka、Sqoop、Spark等】【6.3.3版以后开始收费】
u013250861的博客
03-28 1182
Cloudera Manager是用于管理CDH群集的B/S应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务（Hadoop、Hive、Spark、Kudu）。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟;并提供运行主机和服务的集群范围的实时监控视图;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值