spark集成hadoop

最新推荐文章于 2024-09-01 10:16:03 发布
最新推荐文章于 2024-09-01 10:16:03 发布
阅读量2.9k 收藏 7
点赞数 1
文章标签： spark hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LW_GHY/article/details/123520127
版权

hadoop环境搭建请参考hadoop3.2.2集群搭建

环境

centos7、jdk1.8.0_311、scala-2.12.15、zookeeper-3.6.3、hadoop3.2.2、spark-3.2.1-bin-hadoop3.2

spark配置

  1. 配置${SPARK_HOME}/conf/spark-defaults.conf，添加如下内容：
spark.serializer                   org.apache.spark.serializer.KryoSerializer
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://vmcluster/spark-history
spark.eventLog.compress            true
spark.yarn.historyServer.address   node-3:18080
spark.history.ui.port              18080
spark.history.fs.logDirectory      hdfs://vmcluster/spark-history
spark.history.retainedApplications 10
spark.history.fs.update.interval   5s

注意：将spark-defaults.conf.template文件名修改为spark-defaults.conf。

  1. 配置${SPARK_HOME}/conf/spark-env.sh，添加如下内容：
export JAVA_HOME=/home/bigdata/env/jdk1.8.0_311
export SCALA_HOME=/home/bigdata/env/scala-2.12.15
export SPARK_HOME=/home/bigdata/env/spark-3.2.1-bin-hadoop3.2
export SPARK_CONF=${SPARK_HOME}/conf
export HADOOP_HOME=/home/bigdata/env/hadoop-3.2.2
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

注意：将spark-env.sh.template文件名修改为spark-env.sh。

启动historyserver

start-history-server.sh

测试

提交spark自带的SparkPi进行测试，提交命令如下：

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--num-executors 1 \
--executor-memory 512m \
--executor-cores 1 \
--queue bigdata \
${SPARK_HOME}/examples/jars/spark-examples*.jar \
100

注意：配置spark的SPARK_HOME系统环境变量。
由于是cluster模式提交任务，结果不会输出到控制台。控制台日志输出如下：

2022-03-16 10:43:41,387 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2022-03-16 10:43:41,784 INFO yarn.Client: Requesting a new application from cluster with 3 NodeManagers
2022-03-16 10:43:42,334 INFO conf.Configuration: resource-types.xml not found
2022-03-16 10:43:42,335 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2022-03-16 10:43:42,357 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
2022-03-16 10:43:42,358 INFO yarn.Client: Will allocate AM container, with 1408 MB memory including 384 MB overhead
2022-03-16 10:43:42,358 INFO yarn.Client: Setting up container launch context for our AM
2022-03-16 10:43:42,359 INFO yarn.Client: Setting up the launch environment for our AM container
2022-03-16 10:43:42,367 INFO yarn.Client: Preparing resources for our AM container
2022-03-16 10:43:42,487 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
2022-03-16 10:43:43,802 INFO yarn.Client: Uploading resource file:/tmp/spark-d6ff4da4-4283-43fb-a517-9085d51a1e82/__spark_libs__7226558732161014901.zip -> hdfs://lvcluster/user/bigdata/.sparkStaging/application_1647396476966_0002/__spark_libs__7226558732161014901.zip
2022-03-16 10:43:56,526 INFO yarn.Client: Uploading resource file:/home/bigdata/env/spark-3.2.1-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.2.1.jar -> hdfs://lvcluster/user/bigdata/.sparkStaging/application_1647396476966_0002/spark-examples_2.12-3.2.1.jar
2022-03-16 10:43:57,009 INFO yarn.Client: Uploading resource file:/tmp/spark-d6ff4da4-4283-43fb-a517-9085d51a1e82/__spark_conf__3589752284083344005.zip -> hdfs://lvcluster/user/bigdata/.sparkStaging/application_1647396476966_0002/__spark_conf__.zip
2022-03-16 10:43:57,203 INFO spark.SecurityManager: Changing view acls to: bigdata
2022-03-16 10:43:57,203 INFO spark.SecurityManager: Changing modify acls to: bigdata
2022-03-16 10:43:57,203 INFO spark.SecurityManager: Changing view acls groups to: 
2022-03-16 10:43:57,204 INFO spark.SecurityManager: Changing modify acls groups to: 
2022-03-16 10:43:57,204 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(bigdata); groups with view permissions: Set(); users  with modify permissions: Set(bigdata); groups with modify permissions: Set()
2022-03-16 10:43:57,254 INFO yarn.Client: Submitting application application_1647396476966_0002 to ResourceManager
2022-03-16 10:43:57,515 INFO impl.YarnClientImpl: Submitted application application_1647396476966_0002
2022-03-16 10:43:58,520 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:43:58,522 INFO yarn.Client: 
         client token: N/A
         diagnostics: AM container is launched, waiting for AM container to Register with RM
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: root.bigdata
         start time: 1647398637277
         final status: UNDEFINED
         tracking URL: http://server1:8088/proxy/application_1647396476966_0002/
         user: bigdata
2022-03-16 10:43:59,527 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:00,537 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:01,548 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:02,555 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:03,557 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:04,562 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:05,564 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:06,574 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:07,588 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:08,595 INFO yarn.Client: Application report for application_1647396476966_0002 (state: ACCEPTED)
2022-03-16 10:44:09,605 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:09,605 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: server1
         ApplicationMaster RPC port: 44451
         queue: root.bigdata
         start time: 1647398637277
         final status: UNDEFINED
         tracking URL: http://server1:8088/proxy/application_1647396476966_0002/
         user: bigdata
2022-03-16 10:44:10,617 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:11,630 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:12,643 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:13,653 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:14,658 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:15,667 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:16,709 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:17,722 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:18,727 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:19,730 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:20,737 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:21,749 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:22,752 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:23,760 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:24,782 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:25,791 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:26,793 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:27,803 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:28,809 INFO yarn.Client: Application report for application_1647396476966_0002 (state: RUNNING)
2022-03-16 10:44:29,822 INFO yarn.Client: Application report for application_1647396476966_0002 (state: FINISHED)
2022-03-16 10:44:29,823 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: server1
         ApplicationMaster RPC port: 44451
         queue: root.bigdata
         start time: 1647398637277
         final status: SUCCEEDED
         tracking URL: http://server1:8088/proxy/application_1647396476966_0002/
         user: bigdata
2022-03-16 10:44:29,843 INFO util.ShutdownHookManager: Shutdown hook called
2022-03-16 10:44:29,844 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-d6ff4da4-4283-43fb-a517-9085d51a1e82
2022-03-16 10:44:29,848 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-35dc976c-c371-4888-acc8-25e3a44d60a5

yarn web ui

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

yarn web ui 跳转到 spark web ui

在这里插入图片描述
在这里插入图片描述

还是比较简单，就不过多赘述。

0x12A2A7F
关注
大数据处理工具Spark与Hadoop的集成及其在数据库中的应用
BitNetT的博客
09-21 171
通过与Hadoop集成，Spark成为了一个强大的大数据处理工具，在数据库中有广泛的应用。请注意，由于文本长度限制，无法提供完整的代码和更多示例。在本文中，我们将探讨Spark与Hadoop的集成，并介绍在数据库中使用Spark的一些应用。上述代码中，我们使用Spark读取一个CSV文件，并进行了一些数据清洗操作，包括过滤出年龄大于18岁的数据、选择特定的列和添加一个新的列来表示年龄组。当然，上述仅是Spark在数据库中的一些应用示例，实际上，Spark还有更多功能和库可供使用，以满足不同场景下的需求。
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2716
Spaek基础搭建；基于Hadoop集群.
spark-3.2.1 安装包 下载 hadoop3.2
04-03
spark-3.2.1-bin-hadoop3.2-scala2.13.tgz
spark与hadoop集成详解
reylee的博客
06-03 5296
我们经常被问到如何让spark集成到hadoop生态系统中，如何让spark在现有的hadoop集群中运行，本文的目的就是来回答上述问题。 1，spark主要用于提高而不是取代hadoop栈，从一开始spark就被设计从hdfs中读取存储数据，类似于其他的存储系统，例如Hbase, Amazon S3等，因此，hadoop用户可以通过结合spark来提高hadoop MR, Hbase 及其他大
hadoop集成spark（spark on yarn）
weixin_43322583的博客
08-20 476
在hadoop搭建完成的前提下，集成spark，spark on yarn模式运行。
Hadoop3.x集成Spark
坚哥笔记
11-13 2488
在离线数仓方面，Spark现在所占据的地位勿庸置疑。我们来看看如何在Hadoop3.x中集成Spark。 1. 下载与解压 从镜像站下载 下载地址，选择3.0.2版本。上传到服务器后解压到/app目录下 tar zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /app # 修改目录名 cd /app # mv spark-3.0.2-bin-hadoop3.2 spark-3.0.2 ln -s spark-3.0.2-bin-hadoop3.2 spark 2. 修改配置 1
spark集成到hadoop
最新发布
wbo
09-01 628
这篇文章是在hadoop的基础上集成spark，关于hadoop环境的搭建可以参考我之前的博文https://blog.csdn.net/wbo112/article/details/124654197?本次使用的是后续web 界面访问有可能直接是机器名，所以需要把IP与主机 加到本地hosts文件中解压到目录下进入解压后的目录执行spark自带计算圆周率示例代码在spark目录中执行如下代码输出日志中有这么一句。
spark整合hadoop安装
weixin_34379433的博客
03-16 170
点此去
spark-3.2.1 不集成hadoop安装包
04-03
在标题"spark-3.2.1 不集成hadoop安装包"中，我们看到的是Spark的一个特定版本——3.2.1，而且特别强调了这个版本不包含Hadoop的集成。这意味着这个Spark发行版没有内置对Hadoop的支持，用户需要自己配置和管理与...
Spark和Hadoop的集成
05-07
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Storm是一个分布式的、容错的实时计算系统。两者整合，优势互补。
使用spark集成hadoop,需要先启动hadoop吗
06-06
是的，如果您要使用Spark集成Hadoop，您需要先启动Hadoop。因为Spark需要访问Hadoop分布式文件系统（HDFS）和利用Hadoop资源管理器（YARN）来管理Spark任务。 在启动Hadoop之前，您需要确保已经配置好了Hadoop集群...
Spark集成Hadoop集成是如何做的
05-11
Spark可以与Hadoop集成，以便在Hadoop分布式文件系统（HDFS）上读取和写入数据。以下是Spark与Hadoop集成的一些步骤： 1. 安装Hadoop集群并配置HDFS。 2. 下载并安装Spark，并将其配置为使用Hadoop集群。 3. 在...
Spark 集成hadoop ha
mthinking
04-30 651
spark集成hadoop ha 1.复制core-site.xml + hdfs-site.xml到spark/conf目录下 xcall cp /soft/hadoop/etc/hadoop/core-site.xml /soft/spark/conf/ xcall cp /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/spark/conf/ 2...
spark整合hadoop
weixin_33726318的博客
01-12 139
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark与Hadoop生态系统集成：HDFS、Hive和HBase的交互使用
liqinkuaia的博客
01-08 582
为了更好地利用这两个框架的优势，很多企业将Spark与Hadoop生态系统进行集成，实现数据的高效处理和存储。首先，需要将Hive的相关jar包添加到Spark的classpath中，然后在Spark中创建一个HiveContext或SparkSession对象，就可以使用Hive的SQL查询功能了。Spark可以通过Hadoop的API直接访问HDFS上的数据，实现数据的读取和写入。Spark通过集成Hive，可以直接使用Hive的元数据和SQL查询功能，实现对Hive表的数据处理。
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦
m0_60732994的博客
02-17 5467
最近有小伙伴私信我，flink 软件安装在虚拟机上很简单，就是安装包解压即可，有没有 hadoop + spark 的安装文档呢？所以今天周六刚好不用上班，花了一天时间整理了一下自己现在使用集群的搭建过程，希望对各位小伙伴有帮助！Tips：以下是集群搭建过程的记录啦，word 文档和搭建好了的集群，我后续会上传资源区啦，有需要的小伙伴后续可以在我的资源区下载哦！希望和大家一起进步，有啥不清楚滴地方可以一起交流！
大数据技术Hadoop+Spark
YYY7769的博客
03-07 1835
MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。spark框架包含多个紧密集成的组件，包括Spark SQL（即席查询）、Spark Streaming（实时流处理）、Spark MLlib（机器学习库）、Spark GraphX（图计算）。如下图所示，并且spark支持在一个应用中同时使用这些组件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值