Windows PC上创建大数据职业技能竞赛实验环境之三--Spark、Hive、Flume、Kafka和Flink环境的搭建

已于 2022-04-16 22:38:46 修改
阅读量2.2k 收藏 5
点赞数 1
分类专栏： 大数据平台 文章标签： hadoop spark kafka flink
于 2022-04-10 19:36:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu9ang/article/details/124073269
版权
本文详细介绍了如何在Windows上的Linux子系统（WLS）中，基于hadoop-base容器，搭建Spark、Hive、Zookeeper、Flume、Kafka和Flink的实验环境。包括安装软件包、配置环境变量、修改配置文件（如Spark的slaves和spark-env.sh，Hive的hive-site.xml，Zookeeper的zoo.cfg，Flume的flume-env.sh，Kafka的server.properties和Flink的flink-conf.yaml）以及MySQL的配置，以连接Hive数据库。整个过程涉及集群配置、端口映射和资源调度设置。
摘要由CSDN通过智能技术生成

在前述hadoop-base基础容器环境的基础上，实现Spark、Hive、Flume、kafka和Flink实验环境的搭建。我们已将前述的hadoop-base基础容器进行可阶段的保存：

sudo docker commit "hadoop base v3" hadoop-base centos/hadoop-base:v3

现在，如果已经将前述作业的hadoop-base容器停用并删除，用保存的centos/hadoop-base:v3镜像重新开启hadoop-base容器。加入共享目录，暴露ssh端口，我们将原22端口映射为22222。

sudo docker run -it --name hadoop-base -v /home/wslu/data:/root/data -p 22222:22 centos/hadoop-base:v3 /bin/bash

1 安装Spark、Hive、Zookeeper、Flume、Kafka和Flink软件包

方法类似，即解压软件包，移动到/root/hadoop目录下，配置环境变量。

Spark

[root@f9ea223c4f75 data]# ls
apache-echarts-5.1.0-src.zip   flink-1.10.2-bin-scala_2.11.tgz             redis-4.0.1.tar.gz
apache-echarts-5.1.2-src.zip   hadoop-2.7.7.tar.gz                         scala-2.11.12.tgz
apache-flume-1.7.0-src.tar.gz  kafka_2.11-2.0.0.tgz                        spark-2.1.1-bin-hadoop2.7.tgz
apache-hive-2.3.4-bin.tar.gz   mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz  vue.global.js

[root@f9ea223c4f75 data]# tar xzvf spark-2.1.1-bin-hadoop2.7.tgz

[root@f9ea223c4f75 data]# mv spark-2.1.1-bin-hadoop2.7 /root/hadoop/spark-2.1.1-bin-hadoop2.7
[root@f9ea223c4f75 ~]# ls /root/hadoop/spark-2.1.1-bin-hadoop2.7
bin  conf  data  examples  jars  LICENSE  licenses  NOTICE  python  R  README.md  RELEASE  sbin  yarn

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# vi .bashrc
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin
SPARK_HOME=/root/hadoop/spark-2.1.1-bin-hadoop2.7
PATH=$PATH:$SPARK_HOME/bin

export JAVA_HOME JRE_HOME CLASSPATH PATH
export HADOOP_HOME SPARK_HOME

 Hive

[root@f9ea223c4f75 ~]# cd data
[root@f9ea223c4f75 data]# tar zxvf apache-hive-2.3.4-bin.tar.gz

[root@f9ea223c4f75 data]# mv apache-hive-2.3.4-bin /root/hadoop/apache-hive-2.3.4-bin

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# ls hadoop/apache-hive-2.3.4-bin
bin  binary-package-licenses  conf  examples  hcatalog  jdbc  lib  LICENSE  NOTICE  RELEASE_NOTES.txt  scripts
[root@f9ea223c4f75 ~]#

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# vi .bashrc
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin
SPARK_HOME=/root/hadoop/spark-2.1.1-bin-hadoop2.7
PATH=$PATH:$SPARK_HOME/bin
HIVE_HOME=/root/hadoop/apache-hive-2.3.4-bin
PATH=$PATH:$HIVE_HOME/bin

export JAVA_HOME JRE_HOME CLASSPATH PATH
export HADOOP_HOME SPARK_HOME HIVE_HOME

Zookeeper 

[root@f9ea223c4f75 ~]# cd data
[root@f9ea223c4f75 data]# tar zxvf apache-zookeeper-3.6.3-bin.tar.gz

[root@f9ea223c4f75 data]# mv apache-zookeeper-3.6.3-bin /root/hadoop/apache-zookeeper-3.6.3-bin

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# ls hadoop/apache-zookeeper-3.6.3-bin
bin  conf  docs  lib  LICENSE.txt  NOTICE.txt  README.md  README_packaging.md
[root@f9ea223c4f75 ~]#

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# vi .bashrc
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin
SPARK_HOME=/root/hadoop/spark-2.1.1-bin-hadoop2.7
PATH=$PATH:$SPARK_HOME/bin
HIVE_HOME=/root/hadoop/apache-hive-2.3.4-bin
PATH=$PATH:$HIVE_HOME/bin
ZOOKEEPER_HOME=/root/hadoop/apache-zookeeper-2.6.3-bin
PATH=$PATH:$ZOOKEEPER_HOME/bin

export JAVA_HOME JRE_HOME CLASSPATH PATH
export HADOOP_HOME SPARK_HOME HIVE_HOME ZOOKEEPER_HOME

Flume

[root@f9ea223c4f75 ~]# cd data
[root@f9ea223c4f75 data]# tar zxvf apache-flume-1.7.0-bin.tar.gz

[root@f9ea223c4f75 data]# mv apache-flume-1.7.0-bin /root/hadoop/apache-flume-1.7.0-bin

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# ls hadoop/apache-flume-1.7.0-bin
bin  CHANGELOG  conf  DEVNOTES  doap_Flume.rdf  docs  lib  LICENSE  NOTICE  README.md  RELEASE-NOTES  tools
[root@f9ea223c4f75 ~]#

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# vi .bashrc
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin
SPARK_HOME=/root/hadoop/spark-2.1.1-bin-hadoop2.7
PATH=$PATH:$SPARK_HOME/bin
HIVE_HOME=/root/hadoop/apache-hive-2.3.4-bin
PATH=$PATH:$HIVE_HOME/bin
FLUME_HOME=/root/hadoop/apache-flume-1.7.0-bin
FLUME_CONF_DIR=$FLUME_HOME/conf
PATH=$PATH:$FLUME_HOME/bin
ZOOKEEPER_HOME=/root/hadoop/apache-zookeeper-2.6.3-bin
PATH=$PATH:$ZOOKEEPER_HOME/bin

export JAVA_HOME JRE_HOME CLASSPATH PATH
export HADOOP_HOME SPARK_HOME HIVE_HOME ZOOKEEPER_HOME
export FLUME_HOME FLUME_CONF_DIR

Kafka

[root@f9ea223c4f75 ~]# cd data
[root@f9ea223c4f75 data]# tar zxvf kafka_2.11-2.0.0.tgz

[root@f9ea223c4f75 data]# mv apache-zookeeper-3.6.3-bin /root/hadoop/kafka_2.11-2.0.0

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# ls hadoop/kafka_2.11-2.0.0
bin  config  libs  LICENSE  NOTICE  site-docs
[root@f9ea223c4f75 ~]#

[root@f9ea223c4f75 ~]# cd
[root@f9ea223c4f75 ~]# vi .bashrc
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_648
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/root/hadoop/hadoop-2.7.7
PATH=$PATH:$HADOOP_HOME/bin
SPARK_HOME=/root/hadoop/spark-2.1.1-bin-hadoop2.7
PATH=$PATH:$SPARK_HOME/bin
HIVE_HOME=/root/hadoop/apache-hive-2.3.4-bin
PATH=$PATH:$HIVE_HOME/bin
FLUME_HOME=/root/hadoop/apache-flume-1.7.0-bin
FLUME_CONF_DIR=$FLUME_HOME/conf
PATH=$PATH:$FLUME_HOME/bin
ZOOKEEPER_HOME=/root/hadoop/apache-zookeeper-2.6.3-bin
PATH=$PATH:$ZOOKEEPER_HOME/bin
KAFKA_HOME=/root/hadoop/kafka_2.11-
最低0.47元/天 解锁文章
liu9ang
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 Hive spark Flink 关系
会飞的程序猿
04-27 3025
大数据分为离线和实时数据 Hive仅是离线数据 sparkStreaming 和 Flink 是实时数据工具 spark衍生出各种工具，其核心是mr的优化 Hive(核心功能:SQL=>Spark、对象(databases,table,column/type)) SQL => MapReduce/spark HDFS MySQL (MR 和 Spark比较) MR 有优势 =>稳定 spark =>内存计算(贵) Hadoop(HDFS Yarn MapReduc.
kafka 集成整合外部插件（springboot，flume，flink，spark）
健康平安的活着的专栏
04-12 889
一 kafka集成springboot 1.工程结构 2.pom文件 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.6.1</version> <relativePath/> &.
关于Flume和Flink
最新发布
牧夏的个人博客
07-20 80
Flink则作为数据处理引擎，接收来自Flume的数据流，执行实时分析、过滤、聚合等操作，并将处理后的数据输出到最终的目的地（如数据库、消息队列或其他下游系统）。Flink能够快速响应，就像一个技艺高超的厨师，能够即时调整火候，让菜肴保持最佳风味。而Flink则像是那个真正的主厨，他拿到准备好的食材，开始烹饪，加入调料，做出美味的菜肴。在现实世界中，很多大数据系统就是这么工作的：先用Flume这样的工具收集和准备数据，然后用Flink这样的工具实时处理数据，最后将处理后的数据用于各种业务决策。
hive 、spark 、flink之想一想
zuo1057559550的博客
03-27 1259
1：hive是怎么产生的？Hive是由Facebook开发的，目的是让拥有SQL知识的分析师能够在Hadoop上进行数据查询。Hive提供了类SQL的查询语言HiveQL，通过将HiveQL查询转换为MapReduce任务来在Hadoop上处理大规模数据。2：hive的框架是怎么样的？3：hive 执行流程是什么？4：hive sql是如何把sql语句一步一步到最后执行的？Hive SQL的执行过程主要包括解析、编译、优化、执行四个阶段。在解析阶段，Hive将SQL语句解析成抽象语法树；
IDEA Windows下Spark连接Hive
wsjslient的博客
11-21 1936
IDEA Windows下SPARK连接Hive
VMware虚拟机Centos7搭建Hadoop、Zookeeper、Kafka、Flink集群
Wan的博客
08-24 2243
搭建Hadoop、Zookeeper、Kafka、Flink集群安装规划全机互通Java安装Mysql安装Hadoop安装解压、安装配置配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置hadoop-env.sh配置mapred-env.sh配置yarn-env.sh配置works添加变量分发给slaveHDFS格式化启动Hadoop服务Hive安装解压、安装配置修改hive-site.xml修改hive-env.sh添加依赖包添
Windows PC上创建大数据职业技能竞赛实验环境之六--Flume、Kafka和Flink编程
liu9ang的博客
04-15 2582
1 Flume 参看日志采集工具Flume的安装与使用方法_厦大数据库实验室博客 (xmu.edu.cn)。 查看Flume安装 root@client1:~# flume-ng version Flume 1.7.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707 Compiled by bessb
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 892
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
Windows PC上创建大数据职业技能竞赛实验环境之一--基本环境的搭建
liu9ang的博客
04-08 2496
职业学校大数据竞赛Windows下实验环境的搭建
Windows PC上创建大数据职业技能竞赛实验环境之四--客户端环境的搭建
liu9ang的博客
04-13 2197
Hadoop集群访问客户端 X window Jet brain Idea和客户端开发环境 以上环境我们将在WSL的Ubuntu docker容器中实现，其中对X和Idea的访问，通过Windows Xserver实现。 1 拉取Ubuntu镜像，运行ubuntu容器。 wslu@LAPTOP-ERJ3P24M:~$ sudo docker pull ubuntu:latest wslu@LAPTOP-ERJ3P24M:~$ sudo docker run -it --name hadoop-cl
大数据面试题，大数据成神之路开启...Flink/Spark/Hadoop/Hbase/Hive...-Python开发
05-25
大数据面试题，大数据成神之路开启...Flink/Spark/Hadoop/Hbase/Hive... 已经更新100+篇~ 关注公众号~ 大数据成神之路目录 大数据开发基础篇 :skis: Java基础 :memo: NIO :open_book: 并发 :guitar: JVM :dollar_banknote: 分布式 :floppy_disk: Zookeeper :oncoming_fist: RPC :artist_palette: Netty :laptop: Linux Java基础 NIO 并发容器 JVM 分布式 zookeeper RPC Netty Linux 大数据框架学习篇 Hadoop Hive Spark Flink HBase Kafka Zookeeper Flume Sqoop Azkaban 大数据开发实战进阶篇 这里的文章主要是我平时发表在公众号，博客等的文章，精心挑选，以飨读者。 Flink实战进阶 Sp
（面试版）大数据组件的区别总结（hive，hbase，spark，flink）
ruiqu1650914788的博客
11-05 5618
从面试回答的角度出发，介绍了hive和spark的区别，spark和flink的区别和hive和hbase的区别。
window环境下sparkSQL连接hive
咸鱼哥哥的博客
03-02 721
依赖： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>2.4.7</version> </dependency>
kafka + flume + hdfs + zookeeper + spark 测试环境搭建
zhouxucando的博客
07-20 367
最近由于项目需要， 搭建了一个类似线上环境的处理流数据的环境 用的是CDH 版本5.9.x hdfs组成： 2 namenode HA, 6 datanode kafka： 3 台kafka server zookeeper： 3台 flume： 1台 spark： 6台 每台32G内存 数据流程是有远端终端向我们数据处理服务器（Gengo）发送， 再由Gengo向kaf...
windows使用spark-hive异常
eve_z的博客
10-15 184
org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上添加/替换 ‘hadoop.dll’和‘winutils.exe’” ...
flink hadoop zookeeper hbase kafka集群的搭建与部署
06-18 486
本教程基于4台机器(预装有CentOS7 Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。 1 Linux环境准备 1.1 基础设置 修改主机名 hostnamectl set-hostname master reboot 1 2 依次将其他3台机器设置为slave1,slave2,slave3。 修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" PROXY_METHO.
hadoop、hive、spark、flink、flume基本概念
qq_40716545的博客
08-07 805
大数据
docker-compose安装kafka及springboot整合kafka
wjz520241的博客
06-12 439
一、docker-compose安装kafka及springboot整合kafka 二、docker-compose 这里有两个要注意的点 1.不用kafka-manager的原因是虚拟机重启后这个容器就无法工作了，日志会告诉你删除容器里的一个文件，没有找到解决方案，遂放弃 2.成功安装后用idea或其他应用程序访问连接不上或无法发送消息或无法监听，这个时候需要去windows配置主机映射，修改C:\Windows\System32\drivers\etc下的hosts，在末尾加上 kafka所在的ip地
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
Hadoop是一个开源的分布式计算框架，可用于处理大数据集并提供高可靠性，高可用性和高性能。要进行详细的安装部署，需要运行以下步骤： 1. 安装Java：Hadoop基于Java编写，因此需要安装适当的Java版本。 2. 安装Hadoop：以二进制文件的形式下载Hadoop，并将其解压缩到目标位置。编辑Hadoop配置文件，并设置必要的参数，例如本地文件系统和Hadoop所依赖的其他组件。 3. 部署HDFS：使用bin/hdfs script启动HDFS守护进程并格式化NameNode。配置HDFS，并在数据节点上创建数据目录。 4. 部署YARN：使用bin/yarn script启动YARN守护进程，并在ResourceManager节点上运行MR程序的ApplicationMaster服务。重新配置YARN，并设置资源管理器和节点管理器。 5. 安装Spark：以二进制文件的形式下载Spark，并将其解压缩到目标位置。编辑Spark配置文件，并设置必要的参数，例如运行模式，内存设置和调试选项。 6. 安装Hive：以二进制文件的形式下载Hive，并按照说明进行安装。配置Hive，并设置Metastore和HiveServer2。 7. 安装HBase：以二进制文件的形式下载HBase，并按照说明进行安装。配置HBase，并设置区域服务器和HBase主服务器。 8. 安装Oozie：以二进制文件的形式下载Oozie，并按照说明进行安装。编辑Oozie配置文件，并设置必要的参数，例如数据库连接，属性和内存设置。 9. 安装Kafka：以二进制文件的形式下载Kafka，并按照说明进行安装。配置Kafka，并设置必要的参数，例如Zookeeper连接，日志存储位置和日志大小限制。 10. 安装Flume：以二进制文件的形式下载Flume，并按照说明进行安装。配置Flume，并设置必要的参数，例如Flume代理，事件类型和目标。 11. 安装Flink：以二进制文件的形式下载Flink，并按照说明进行安装。配置Flink，并设置必要的参数，例如集群模式，任务管理器，计算管道和作业提交方式。 12. 安装ES：以二进制文件的形式下载Elasticsearch，并按照说明进行安装。配置Elasticsearch，并设置必要的参数，例如节点类型，索引设置和查询配置。 13. 安装Redash：以二进制文件的形式下载Redash，并按照说明进行安装。配置Redash并设置必要的参数，例如数据库连接，权限和查询模式。 以上提到的大数据技术是开源的，所以可以在官网上找到相关二进制文件和详细的安装部署指南。也可以使用一些自动化的部署工具，如Puppet和Ansible来简化整个过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值