十一、安装并配置Spark

最新推荐文章于 2022-08-24 05:46:31 发布
最新推荐文章于 2022-08-24 05:46:31 发布
阅读量771 收藏 1
点赞数
文章标签： spark hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_32475603/article/details/120893112
版权

  1. 解压Spark组件

 tar  -zxvf  ./home/master/spark-2.0.0-bin-hadoop2.6.tgz  -C  ./home/master (先进入到根目录中：cd  /)

2.配置环境变量

   vim  /etc/profile

   export  SPARK_HOME=/home/master/spark-2.0.0

   export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin

   使变量生效：

source  /etc/profile

3.配置spark-env.sh

   HADOOP_CONF_DIR:指定hadoop的配置文件的目录

最低0.47元/天 解锁文章
sinat_32475603
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深入浅出理解 Spark：环境部署与工作原理
腾讯技术工程
12-20 1206
一、Spark 概述Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言...
hadoop伪分布式集群 spark配置
水彩橘子
07-06 653
一、基础环境 1、环境介绍 操作系统：centos 7.9 jdk版本：8u291 hadoop版本:2.10.1 spark版本：2.4.8 （因为自建了hadoop 所以使用without-hadoop包） spark下载地址：https://archive.apache.org/dist/spark/spark-2.4.8/ 2、hadoop配置 https://blog.csdn.net/zyj81092211/article/details/118248361 3、上传软件包到服务器并解压重名为s
Spark本地模式和集群模式安装配置
m0_67401499的博客
08-24 593
1.下载地址：这里下载的是spark-2.0.1-bin-hadoop2.7.tgz ，别的版本可以自行选择前提：Linux需配置jdk环境，比较简单，自行百度。
SPARK_LOCAL_IP设置
小鱼的博客
08-06 1434
获取本机IP地址方法 https://www.cnblogs.com/poloyy/p/12212868.html export SPARK_LOCAL_IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")
spark用submit提交程序遇到的错误（机器内存较小）
season的专栏
04-23 1万+
部署使用的spark版本是spark1.3.0部署环境： 主节点centos7操作系统 2g内存   从节点debian系统1g内存（2个） spark-env.sh的设置如下： export SCALA_HOME=/usr/local/scala-2.10.4 export SPARK_MASTER_IP=master export SPARK_LOCAL_IP=master
centOS7下Spark安装配置教程详解
09-15
下载后，解压缩并在`/etc/profile`中配置Spark的环境变量。 4. **配置Spark**： - **配置环境变量**：在`/etc/profile`中添加Spark的路径到`PATH`环境变量中。 - **创建`spark-env.sh`**：在`/usr/spark/spark-...
spark安装配置教程.docx
最新发布
07-15
Spark的安装配置教程可以根据不同的环境和需求有所不同，但基本步骤通常包括下载Spark安装包、解压安装包、配置环境变量、配置Spark配置文件以及启动Spark服务。以下是一个基于Linux环境的Spark安装配置教程： 一、...
Spark-1.0.2安装配置
09-04
Spark-1.0.2安装配置，简单的demo运行，包含vbox、jdk、Scala、SSH的安装配置
Hadoop与Spark安装配置手册
12-29
本文档详细说明了在Linux环境下，hadoop与spark安装与配置的每一个步骤。
spark安装.zip
11-12
3. **配置环境变量**: 在系统环境变量中添加SPARK_HOME，指向Spark的安装目录。例如，如果Spark解压到了`/usr/local/spark`，则添加如下环境变量： - Windows: 在系统变量中新建`SPARK_HOME`，值为`C:\usr\local\...
spark-2.0.0-bin-hadoop2.6.tgz (内含有Pyspark 2.7.12)
03-18
在构建大数据开发平台的过程中，想用Python对大数据进行开发，从spark官网下载速度太慢，耗费好久才下载下来，在这里与大家共享。
高可用spark安装与配置
m0_55769244的博客
10-22 569
（1）解压安装包到/usr/local下。 tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local （2）进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。 cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf 3）配置spark-env.sh文件，复制spark-env.sh.template文件,重命名为spark-env.sh
hadoop大数据平台手动搭建-spark
feilong2483
03-23 203
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。由于spark使用依赖scala.所以一起安装。   1.解压文件 tar -zxvf /opt/spa...
spark on yarn 完全分布式_万字详文：腾讯研究员详解 Spark 部署与工作原理
weixin_39614546的博客
11-19 292
作者：royran，腾讯 CSIG 应用研究员一、Spark 概述Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。1.1 Sp...
Hadoop集群或者Spark集群IP地址发生改变的处理方法
梦想成真那天
03-31 4084
之所以遇到这个问题是因为之前是在公司的工作机器上创建的三个Ubuntu虚拟机上搭建的Hadoop和spark伪分布集群，由于某种原因离职，还有部分任务没有完成，又不想就此废弃该环境，所以讲虚拟机文件拷贝到硬盘中，所以在我重新配置虚拟机并且导入到之前的虚拟机文件，然后我运行Hadoop的启动命令，发现日志中的master和slave1等节点启动均失败，查看虚拟机的IP后发现IP地址与之前配置的不一样了
Spark_通过Spark实现ip地址查询
weixin_44449054的博客
03-02 704
标题1.需求分析2.数据准备3.代码思路4.代码 1.需求分析 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。我们根据每个用户的IP地址，与我们的IP地址段进行比较，确认每个IP落在哪一个IP端内，获取经纬度，然后绘制热力图 我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。 2.数据准备 ip日志信息： 在ip日志信息中，只需要关心ip这一个维度就可以了
Spark Utils find localIpAddress
houzhizhen的专栏
04-24 736
/** * Get the local host's IP address in dotted-quad format (e.g. 1.2.3.4). * Note, this is typically not used from within core spark. */ private lazy val localIpAddress: InetAddress = findL
spark local模式
mn_kw的博客
07-23 3768
spark作业运行集群有俩种部署模式，一种是spark Standalone集群，还有一种是YARN集群+Spark客户端 所以我们认为提交spark作业的俩种主要方式就是，就是Spark StandAlone和YARN，这俩种方式，分别还分为俩种模式，分别是client mode和cluster mode  local模式的基本原理 local模式，没有所谓的master+worker这种...
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
热门推荐
JunLeon的博客
03-21 3万+
Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充：spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安
windows安装配置spark
05-13
以下是在Windows上安装和配置Apache Spark的步骤： 1. 下载和安装Java Spark需要Java 8或更高版本。您可以从Oracle官网或OpenJDK下载Java，然后按照常规步骤安装。 2. 下载和解压Spark 在Apache Spark的官方网站上下载最新版本的Spark二进制文件，然后将其解压缩到您的系统中的任何位置。您可以下载预编译的二进制文件或者从源代码编译。 3. 配置环境变量 要使用Spark，您需要设置SPARK_HOME和PATH环境变量。将SPARK_HOME设置为Spark的安装目录路径，例如： ``` set SPARK_HOME=C:\spark-3.1.2-bin-hadoop3.2 ``` 将PATH变量添加到Spark的bin目录，例如： ``` set PATH=%PATH%;%SPARK_HOME%\bin ``` 4. 启动Spark 要启动Spark，打开命令提示符并输入以下命令： ``` spark-shell ``` 这将启动Spark的交互式Shell。您可以在此处输入Scala代码并与Spark进行交互。 在Windows上，您可以使用WinUtils来模拟Unix Shell的行为，例如创建文件和目录。将WinUtils下载并解压缩到Hadoop的bin目录中即可。 这些是在Windows上安装和配置Apache Spark的基本步骤。您可以按照这些步骤进行操作，以开始使用Spark并进行大数据处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值