Spark本地安装及Linux下伪分布式搭建

最新推荐文章于 2024-04-26 18:08:02 发布
最新推荐文章于 2024-04-26 18:08:02 发布
阅读量678 收藏
点赞数
分类专栏： Hadoop及Spark学习 大数据学习进阶 文章标签： spark搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzw2016/article/details/84673410
版权
本文详细介绍了如何在本地和Linux环境下搭建Spark，包括前期准备、本地安装、基于Hadoop的伪分布式搭建步骤，以及启动和配置过程中可能遇到的问题及解决方案。通过这篇文章，读者可以了解到Spark与Hadoop的版本匹配、环境变量配置、启动命令以及解决权限和路径问题的方法。
摘要由CSDN通过智能技术生成

title: Spark本地安装及Linux下伪分布式搭建
date: 2018-12-01 12:34:35
tags: Spark
categories: 大数据
toc: true
个人github博客：Josonlee’s Blog

文章目录

前期准备

spark可以在Linux上搭建，也能不安装hadoop直接在Windows上搭建单机版本。首先是从官网上下载和你hadoop版本匹配的spark版本（版本不要太新，选择稳定版本，如我的是hadoop2.6版本对应spark-2.0.2-bin-hadoop2.6.tgz）

可以放心的是，spark安装远比hadoop安装简单的多

本地安装

把下载的压缩包解压到本地某个位置上，修改环境变量，添加%SPARK_HOME%:解压的位置；修改Path，增加一栏%SPARK_HOME%/bin

在这里插入图片描述</

最低0.47元/天 解锁文章
lzw2016
关注
专栏目录
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 653
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
在linux上配置伪分布式Spark---以及安装scala
wjt_1025的博客
11-04 284
首先下载Spark和Scala我是用的版本可以和hadoop-3.1.4兼容 下面是我是用的spark 和 scala 安装包百度网盘 下载好了spark和scala之后我们把spark和scala的压缩包放到文件夹中之后解压。-----记住解压的位置之后要使用。 首先我们先配置scala： 这个只有一步就是我们要在/etc/profile这个文件中配置环境变量 在终端中输入命令vim /etc/profile 在这里面添加 export SCALA_HOME = /usr/local/scala expr
spark搭建伪分布式环境
weixin_43861175的博客
05-20 501
软件准备 • 一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 • spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 (1) 把安装包...
Spark基础学习笔记04：搭建Spark伪分布式环境
howard2005的专栏
03-01 2254
1. 学会搭建Spark伪分布式环境 2. 学会启动Spark Shell进行交互式操作 3. 学会使用Spark WebUI查看运行状态
搭建Spark伪分布式环境
snow703323的博客
06-16 702
测试能否ping通百度 - 测试能否ping通百度 - 测试能否ping通百度 - 查看主机映射配置文件 查看主机映射配置文件 查看主机映射配置文件 五）关闭与禁用防火墙 1、了解相关命令 （1）关闭防火墙命令 systemctl stop firewalld （2）禁用防火墙命令 systemctl disable firewalld （3）查看防火墙状态 systemctl status firewalld 2、关闭与禁用防火墙 （1）关闭与禁用master虚拟机防火墙 关闭防火墙
安装Spark，搭建伪分布式和完全分布式（3节点）
mmknzb的博客
02-29 384
安装Spark，搭建伪分布式和完全分布式（3节点）搭建伪分布式搭建完全分布式 搭建伪分布式 解压缩文件 tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/ 因为spark和hadoop的目录结构相似，都有bin和sbin目录，为了防止冲突，就不配合环境变量了 进入conf目录，对配置文件重命名 mv spa...
搭建单机伪分布式Hadoop+spark+scala
最新发布
weixin_74331328的博客
04-26 1004
hdfs://master#注意这里是ip映射可改为自己的ip地址。/usr/local/src/hadoop/tmp
Spark的介绍及伪分布式集群的搭建
Mr_YXX的博客
03-20 1010
一、概述 Apache Spark是一个快如闪电的统一分析引擎（并没有提供数据存储的方案） 快如闪电（相比于传统的大数据处理方案MapReduce）： Spark将一个复杂的计算任务Job拆分为多个细粒度的Stage，每一个Stage都可以分布式并行计算；对于MapReduce初代的计算引擎，它将任务拆分了粗粒度的MapTask和ReduceTask，对于特别复杂的计算任务，我们需要将多个Ma...
spark伪分布式的搭建
一个程序媛的成长记录❤
05-30 261
https://www.jianshu.com/p/9622f684144d 感谢这篇博客，结合里面的步骤，我部署成功了。 在这里我犯的错主要是没弄懂“主机名”是什么 所以在修改spark-env.sh等配置文件时，主机名要写自己的现在正在运行的虚拟机的主机名，一定不要照搬照抄！ ...
Spark伪分布式搭建
cyssxt的博客
07-05 803
Spark分布式搭建 利用spark（2.1.1）和hadoop（2.8.0）最新版 一、下载spark Spark地址：版本 https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 二、下载scala 此处scala版本要注意scala版本，spark有版本限制 这边可以看到用了scala2.11的
spark-伪分布式搭建
shursulei的博客
07-04 503
一.环境的准备(hadoop-2.8.0/spark-2.1.0/scala-2.12.) hadoop的安装/scala的安装 二.安装配置 1.查看/etc/profile的配置export JAVA_HOME=/opt/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/
搭建spark的伪分布式
知其然，知其所以然
01-13 385
一.Spark的安装与部署 一.Spark的安装部署方式有以下几种模式： Standalone（常用） YARN（常用） Mesos Amazon EC2 （1）Spark Standalone伪分布的部署 配置文件：conf/spark-env.sh export JAVA_HOME=/opt/module/jdk export SPARK_MASTER_HOST=bigdat...
搭建Spark伪分布式模式
LawrenceUyi31的博客
11-18 1313
搭建Spark伪分布式模式...
spark分布式，伪分布式搭建
西红柿炒土豆
06-19 916
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3 折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yum search openjdk-devel sud
Spark的伪分布式配置（Ubuntu）
Stay Hungry Stay Foolish
04-08 322
在配置完Hadoop伪分布式的前提下 1.将SPARK配置进环境变量 2. 将SPARK目录的conf目录的spark.env.sh.template改名为spark.env.sh，并配置为 此处的IP地址为所需要的MASTER的IP地址，当前是伪分布式配置，所以MASTER和WORKER都为本机，配置为本机的IP地址即可，可用ifconfig命令查询 3.将SPARK目录的conf目录的sl...
大数据环境部署 第五章——Spark 伪分布式搭建
尼克不可的博客
02-09 1280
大数据环境部署 第五章——Spark 伪分布式搭建 前言：本文为系列教程，至此默认读者已经安装好了Hadoop，jdk； 如还未配置好上述服务，可以查看笔者前面的博文进行参考配置 一、准备阶段 scala文件下载及配置 （1） 进入scala官网复制下载链接 下载官网：https://www.scala-lang.org/download/ 进入官网后下拉到底部选择此格式文件复制下载链接 （2...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值