Spark2.1.0集群部署

最新推荐文章于 2022-07-25 18:19:35 发布
最新推荐文章于 2022-07-25 18:19:35 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdnDAO/article/details/68946649
版权
本文档详细介绍了如何部署Spark 2.1.0集群，包括从官网下载软件包、在集群中分布安装、启动master和worker、使用web UI监控、启动spark-shell、运行SparkPi示例以及Spark SQL整合Hive的步骤。通过这些步骤，你可以成功建立和管理Spark集群，并执行Spark任务。
摘要由CSDN通过智能技术生成
1、从官网下载2.1.0版本的Spark，spark-2.1.0-bin-hadoop2.7.tgz；

2、拷贝都集群中各个节点，解压到特定目录下；

3、启master服务:
# ./sbin/start-master.sh
 master服务启来之后可以看到master的URL地址(或者在日志中查看)
spark://Spark01:7077

4、启所有的Worker，并把worker链接都master上
# ./sbin/start-slave.sh <master-spark-URL>

5、访问master的web UI，在页面中可以看到集群中的woker及资源情况
http://172.20.13.36:8080/
访问具体worker的UI
http://172.20.13.43:8081/

6、启动spark-shell
# ./bin/spark-shell --master spark://Spark01:7077 --executor-memory 10000m --executor-cores 4
最低0.47元/天 解锁文章
Spark2.1.0之初识Spark
beliefer的博客
04-09 4774
        随着近十年互联网的迅猛发展，越来越多的人融入了互联网——利用搜索引擎查询词条或问题；社交圈子从现实搬到了Facebook、Twitter、微信等社交平台上；女孩子们现在少了逛街，多了在各大电商平台上的购买；喜欢棋牌的人能够在对战平台上找到世界各地的玩家对弈。在国内随着网民数量的持续增加，造成互联网公司的数据在体量、产生速度、多样性等方面呈现出巨大的变化。        互联网产生的...
Spark2.1.0 + CarbonData1.0.0集群模式部署及使用入门
贝壳里的海
03-13 8440
引言 准备工作 1 集群规划 2 系统环境 编译及部署 1 编译 2 集群模式部署 数据准备 1 数据描述 2 数据生成 3 数据上传 启动spark-shell 1 简介 2 案例 创建CarbonSession 1 简介 2 案例 创建数据库及数据表 1 简介 2 案例 数据查询 1 数据导入 11 导入方式一 111 简介 112 案例 12 导入方式二 121 简介 122 案例 13 ba
Spark技能——Spark-2.1.0
Happy_wu的专栏
05-06 574
0.0 前言本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程，运行流程，关键组件，原理有所了解。文章有点长，你也可以直接阅读感兴趣的部分，但是还是建议全面了解。1.0 简介Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个项目Apache Spark is a fast and general engine for large...
Spark2.1.0集群安装
hanlanshenlan的专栏
12-07 462
1. 安装Spark之前需要安装Java环境和Hadoop环境和Scala环境。 需要准备三台虚拟机 192.168.230.31 vm1 192.168.230.32 vm2 192.168.230.32 vm3 2. 安装Spark依赖的Scala，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。 在每个节点上都进行安装。 a)下载和解压缩Scala,打开地址：http://www.scala-lang.org/ 直接打开下...
Spark2.1.0官方文档：快速开始-Quick Start
古月慕南的代码世界
04-19 1650
利用Spark Shell进行交互式分析 基本操作 更多关于的RDD操作 使用缓存 独立的应用程序 下一步可以做什么 本教程对于Spark的使用进行了简单的介绍。我们首先通过Spark的交互式shell环境介绍一些基础API的使用，然后展示如何使用Scala语言编写一个具体的应用。如果想要更详细的教程，请移步编程指南。 如果想要亲自试试本篇中的例子，您需要从Spark
Spark2.1.0之初体验
beliefer的博客
05-04 5400
       在《Spark2.1.0之运行环境准备》一文中，已经介绍了如何准备好基本的Spark运行环境，现在是时候实践一下，以便于在使用过程中提升读者对于Spark最直接的感触！本文通过Spark的基本使用，让读者对Spark能有初步的认识，便于引导读者逐步深入学习。运行spark-shell    在《Spark2.1.0之运行环境准备》一文曾经简单运行了spark-shell，并用下图进行...
spark集群安装部署与初步开发
09-12
### Spark集群安装部署与初步开发知识点详述 #### 一、Spark概述 - **定义**：Spark是一款基于内存计算的大数据并行计算框架，旨在提供高效的数据处理能力。 - **特性**： - **内存计算**：利用内存提高数据处理...
编译过的Hadoop2.6.0-cdh5.7.0的spark2.1.0安装包
12-03
8. **安装与配置**：在CDH5.7.0环境中安装Spark2.1.0时，需要配置相关的环境变量，如`SPARK_HOME`、`HADOOP_CONF_DIR`等，并确保Spark配置文件（如`spark-defaults.conf`）中的参数与集群设置一致。 9. **运行与...
spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz
03-11
解压后，用户可以使用这些文件在CDH5.7.0集群上部署和运行Spark应用。其中，"bin"目录下有Spark的可执行脚本，如`spark-submit`用于提交应用程序，`spark-shell`提供交互式Spark会话，`pyspark`则提供了Python接口。...
spark2.1.0 JAVA API
02-06
spark 通过java操作的API详细说明，chm格式，可搜索自己想要的API，内部有详细的用法说明
spark-2.1.0-bin-without-hadoop
10-26
上传大小限制了，分为两段，part2去我的资源中找一下。
spark2.1.1的源码包
06-17
spark的底层源码，版本2.1.1,可以解压后直接使用idea打开，特别注意：里面包含大量的maven依赖，初始加载时，时间较长。
spark-examples_2.11-1.6.0-typesafe-001.jar
11-11
HbaseAPI资源包，pyspark读写habase必备jar包，有余力的同学可以自己修改定义。
spark-sql_2.11
02-25
大数据开发，spark连接数据库，spark连接数据库，spark连接数据库
spark2.1.0发布了
我是一个小学生
02-17 527
2016年12月28日发布 此版本更改 默认scala版本是Scala 2.11 官网看到 Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.0uses Scala 2.11. You will need to use a compatible Scala version(2.1
Spark2.1.0安装
weixin_30908707的博客
05-24 199
1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HOME/bin source /etc/profile 3.spark配...
Spark2.1.0的安装与配置
weixin_55983492的博客
08-05 833
一、scala的安装与配置 scala的下载 下载地址为：scala下载地址 1.启动hadoop（搭建高可用集群的一起启动） （1）启动Zookeeper（三台虚拟机都进行） [root@hadoop1 ~]# zkServer.sh start （2）启动journalnode（三台虚拟机都进行） [root@hadoop1 ~]# hadoop-daemon.sh start journalnode （3）启动Hadoop [root@hadoop1 ~]#..
Spark 2.1.0 环境搭建
aKLqian的博客
05-05 1207
岂可修 spark1.6已经不够用了，为了教学需要安个spark2.1.0
Spark2.1.0安装与配置（单机版）
WQS
07-25 2043
该安装教程是承接Spark源码编译B站教程所制，因此所使用的安装包是在Spark源码编译教程中得到文件以及官网的，其实两个文件的功能几乎相同。关于为什么进行Spark源码编译，主要是因为个人喜好，编译在个人看来只是一种体验。下载官网https提供的安装包，毕竟是官方的，会可靠点，其中有without-hadoop和hadoop2.x或hadoop3.x的，是含hive支持的，是不含hive支持的，含支持的编译命令与自定义编译的命令是相同的（除了hadoop版本，可查看安装包文件中根目录的文件）......
Spark 2.x 集群部署与高可用设置详解
4. 复制配置到其他节点：为了使集群中的所有节点都能访问相同的配置，需要使用SCP命令将配置文件和Spark安装目录复制到其他机器上，如`scp -r spark-2.1.0-bin-hadoop2.6/mini2:/usr/local/`。 5. 启动Master：由于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值