spark安装

最新推荐文章于 2024-06-30 07:15:00 发布
最新推荐文章于 2024-06-30 07:15:00 发布
阅读量297 收藏
点赞数
分类专栏： 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43203897/article/details/87827869
版权
本教程详细介绍了如何安装Spark。首先从官方网站下载spark-2.0.2-bin-hadoop2.7版本，然后在/usr/local下新建安装目录并解压。接着，修改配置文件spark-env.sh设置JAVA_HOME和SPARK_MASTER_HOST等参数，并重命名模板文件。在slaves文件中添加worker节点。使用scp命令将Spark拷贝到其他节点，并配置环境变量。最后，在主节点上启动Spark服务。
摘要由CSDN通过智能技术生成

  1. 下载spark安装包
    下载地址spark官网：http://spark.apache.org/downloads.html
    这里我们使用 spark-2.0.2-bin-hadoop2.7版本.

  2. 新建安装目录
    /usr/local

  3. 解压
    tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

  4. 重命名
    mv spark-2.0.2-bin-hadoop2.7 spark

  5. 修改配置文件
    vi spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)

  6. #配置java环境变量
    export JAVA_HOME= /usr/local/jdk
    #指定spark老大Master的IP
    export SPARK_MASTER_HOST=Hadoop01
    #指定spark老大Master的端口
    export SPARK_MASTER_PORT=7077
    #woker 使用1g和1个核心进行任务处理
    export SPARK_WORKER_CORES=1
    export SPARK_WORKER_MEMORY=1g

vi slaves 修改文件(先把slaves.template重命名为slaves)
hado

最低0.47元/天 解锁文章
weixin_43203897
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark2.0.2 安装包
02-24
spark安装包，亲测有效。
spark 安装
热门推荐
mark's technic world
02-13 1万+
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3 折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yum search openjdk-devel sudo yum insta
摸鱼大数据——Spark基础——Spark环境安装——PySpark搭建
最新发布
weixin_65694308的博客
06-30 1174
bashrc 也是看名字就知道, 是专门用来给 bash 做初始化的比如用来初始化 bash 的设置, bash 的代码补全, bash 的别名, bash 的颜色. 以此类推也就还会有 shrc, zshrc 这样的文件存在了, 只是 bash 太常用了而已.其实看名字就能了解大概了, profile 是某个用户唯一的用来设置环境变量的地方, 因为用户可以有多个 shell 比如 bash, sh, zsh 之类的, 但像环境变量这种其实只需要在统一的一个地方初始化就可以了, 而这就是 profile.
Spark安装
weixin_47878012的博客
12-30 2556
首先我们在spark官网上下载spark安装包 https://spark.apache.org/downloads.html 在最下面版本存档里找到与我们之前搭建的Hadoop2.7.5版本对应的spark2.2.0安装包 等待下载完成 上传 使用Secure CRT 将下载好的spark安装包上传到node01的export/softwares下面 cd /export/softwares/ rz -E 如图，就是我们Hadoop的各个组件，将spark解压到expo.
Spark 下载、安装与配置
梁辰兴的博客
03-29 1万+
Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。
spark安装.zip
11-12
这个“spark安装.zip”文件显然包含了针对大数据分析初学者的Spark安装教程，以及如何使用Python进行测试的步骤。下面将详细介绍Spark的安装过程，以及如何利用Python与Spark进行交互。 首先，安装Spark需要准备...
Linux中Scala和Spark安装
05-31
### Linux中Scala和Spark安装教程 #### Scala安装步骤详解 在深入探讨如何在Linux系统上安装Scala和Spark之前，我们首先需要确保系统已正确安装了JDK，因为Scala和Spark都依赖于Java运行环境。 ##### 步骤1：安装...
spark安装1
08-08
Spark 是一个快速、通用且可扩展的分布式计算框架，它由加州大学伯克利分校的AMP实验室开源。Spark 提供了对Java、Python和Scala的API支持，使得开发者能够方便地构建各种应用，并且它拥有超过80种高级算法，涵盖了...
spark安装（含报告）.zip
11-12
适合大数据分析初学者，安装大数据分析工具spark，python语言测试（保姆级教学）。
spark安装包
07-31
该安装包为spark-2.2.0-bin-without-hadoop.tgz.tar。
Spark安装包、安装文档
05-14
Spark及其安装文档
spark的安装包Linux下1.3
05-05
spark1.3Hadoop2.4的Linux下的安装包。Linux下安装可用
Spark（一）安装
lwgzj的博客
07-05 240
安装过程不复杂，主要是由于没有接触过Hadoop，一下子进入Spark，有点不知所措，所以建议如果没有Hadoop经验，又想先搞Spark的同学，可以找一些视频入入门，先从一个总体的流程感知下Spark。 官网下载地址： http://spark.apache.org/downloads.html 简单介绍一下： ...
Spark 安装
pizicai007的博客
03-27 287
从 Spark 官网上下载的 Spark 官网上下载的安装包，默认不支持 Hive，因此要是想在 Spark SQL 上查询操作 Hive 上的数据，需要重新编译 Spark 源码，本文 Spark 的版本为 Spark-2.1.2-bin-hadoop2.6.0；Hadoop 的版本为 Hadoop-2.6.0-cdh5.7.0；Hive 的版本为 Hive-1.1.0-cdh5.7.0，下面介...
Spark安装及部署
zjjfjcs的博客
08-31 985
１、安装Spark 1.1、 配置Ｊava环境： 下载Ｊava SE 网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择合适的压缩包下载 配置Ｊａｖａ环境 打开ｐｒｏｆｉｌｅ文件：　~$ sudo vim /etc/profile 在文件结尾加上
Spark安装教程
Byyyi耀的博客
04-16 1142
Spark安装教程
Spark安装与实战指南
3. **验证Spark安装**：安装完成后，通过执行特定的命令检查Spark是否正确安装。这通常包括启动Spark Shell并检查其输出。 ## 第2章 Spark上机操作 这一章主要介绍了如何实际操作Spark进行数据处理。 1. **Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值