Scala和spark安装步骤

最新推荐文章于 2023-04-26 16:35:20 发布
最新推荐文章于 2023-04-26 16:35:20 发布
阅读量282 收藏
点赞数
分类专栏： Linux 文章标签： scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45775632/article/details/116562759
版权

一 Scala安装
scala版本 2.11.8
网盘地址：
链接：https://pan.baidu.com/s/1Yppb82ORGvSgsSAf9TzZAA
提取码：qpyo

说明:hadoop 版本2.7.1 JDK1.8
注意注意:一定要注意版本一定要注意版本，因为版本hadoop，spark已经安装过无数遍了，不要吃版本的亏！！！！
因为版本不对的问题后面使用maven还有sbt打包编译Java文件就没成功过！！
这个版本真的可以，sbt我搞成功了，我又活了！！！！
在这里插入图片描述
用sbt打包的程序运行成功了哈哈
在这里插入图片描述

把下载好的文件放在Linux系统“下载”文件夹下，打开终端
在这里插入图片描述
二 Scala测试
编写第一个程序Hello world，打印成功
在这里插入图片描述
vim test.scala的内容

在这里插入图片描述
三 安装spark
对应版本为2.1.0
链接：https://pan.baidu.com/s/1UOPy-BQ3HZm3LCCjCZ1UGg
提取码：z7k3
在这里插入图片描述

在这里插入图片描述
打开vim编辑器，在开头添加
在这里插入图片描述
验证是否安装成功
在这里插入图片描述
在这里插入图片描述

启动spark

在这里插入图片描述

出现这个界面就说明安装成功了

在这里插入图片描述

今天也在苦学编程
关注
专栏目录
Scala和Spark的安装教程
qq_44066173的博客
09-25 837
文章目录 1.概述 2.安装 3.配置系统变量 4.进入spark shell 1.概述 spark官方http://spark.apache.org spark是一个围绕速度，易用性和复杂分析架构的大数据处理框架； 他有如下优势： 运行速度快。spark是基于内存的，是hadoop的是100倍； 易用性。可以使用java,scala,python或者其他语言来写； mapReduce,还支持sql查询，流数据,机器学习和图计算； spark不仅仅可以处理hdfs上的数据，还可以处理其他数据。 三台虚拟机
安装SCALA SPARK
qq_56435059的博客
03-25 1595
解压缩 tar -xvf scala.tar.gz -C /etc/hadoop 修改文件名 mv sacla~ sacla 配置环境变量 vim /etc/profile export SCALA_HOME=/etc/hadoop/scala export PATH=$PATH:$PATH:SACLA_HOME/bin 刷新 source /etc/profile 检测版本 sacla -version 解压缩spark tar -xvf spark.tar.gz -C /.
安装Spark和Scala
qq_41474121的博客
10-29 1393
安装Spark解压到安装目录创建软链快捷键修改配置文件spark-env.sh配置环境变量修改`sbin`目录下的`spark-config.sh`,添加`jdk的环境变量`（如果不添加，启动spark的时候会报“JAVA_HOME not set” 异常）运行Spark先启动hadoop在启动sapark 上篇完成后操作此篇 解压到安装目录 tar zxvf /h3cu/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src/ 创建软链快捷键 ln -s /u
Scala和Spark的安装
giantleech的博客
05-06 162
文章目录Spark 安装解压文件修改环境变量配置Spark-env.sh配置slaves文件启动spark Spark 安装 1、前置安装JDK就可以(Spark 不一定依靠Hadoop) 2、下载spark-2.4.3-bin-hadoop2.6.tgz 3、选择3个节点打通无密登录(1台做master节点 2台做worker节点) 4、 在conf下cp slaves 和 spark-env.sh 解压文件 解压文件并改名 tar -zxf scala-2.11.12.tgz mv scala-2.
SCALA与SPARK安装
user_lib的博客
04-26 358
SCALA安装 下载好scala 2.12.解压到/usr/local/scala 然后添加环境变量 export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin 安装SPARK 下载好spark2.4 解压到/usr/local/spark 添加环境变量 export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SCALA_HOME/bin 配置 cd /usr/loc
Linux中Scala和Spark安装
最新发布
05-31
### Linux中Scala和Spark安装教程 #### Scala安装步骤详解 在深入探讨如何在Linux系统上安装Scala和Spark之前，我们首先需要确保系统已正确安装了JDK，因为Scala和Spark都依赖于Java运行环境。 ##### 步骤1：安装...
scala和spark的安装
01-03
1. **发送配置文件与安装文件给子节点**：通过SSH或其他工具将配置文件和安装文件发送给子节点。 2. **启动Spark集群**：回到主节点，在Spark的根目录下执行以下命令启动Spark集群。 ```bash ./start-all.sh ``` ...
scala和spark用到的依赖_spark的安装和使用
weixin_34022406的博客
12-24 1842
spark最近出了2.0版本，其安装和使用也发生了些许的变化。笔者的环境为：centos7.该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用，希望可以给刚刚接触spark的朋友一些帮助。按照惯例，文章的最后列出了一些参考文献，以示感谢。下面我们就来看一下spark的安装。spark的依赖环境比较多，需要Java JDK、hadoop的支持。我们就分步骤依次介...
本地使用scala操作spark示例.doc
03-06
6. **`.config("hive.exec.scratchdir", "hdfs://master01:8020/hive/tmp")`**：设置临时目录，Spark和Hive在执行过程中可能需要临时存储一些数据或文件。 7. **`.config("spark.debug.maxToStringFields", "1000")...
spring boot + scala + spark http驱动spark计算
04-03
在大数据领域，Scala由于其强大的类型系统和表达能力，是Apache Spark的主要编程语言。 3. **Apache Spark**: Apache Spark是一个用于大规模数据处理的开源计算框架，以其高速度、易用性和支持多种工作负载而闻名。...
spark与scala的安装
weixin_50722238的博客
12-03 447
Scala与Spark的安装配置
Scala及Spark安装及部署
Jenny_yz的博客
04-26 853
1.进入spark/conf目录修改spark的配置文件spark-env.sh，将spark-env.sh.template配置模板文件复制一份并重命名spark-env.sh，具体命令如下。命令，修改spark-env.sh文件，在该文件中添加以下内容：（注：将SPARK_MASTER_HOST配置参数前用#注释掉）链接：https://pan.baidu.com/s/1iWD6wVCHhDyohoqlP-ellA?命令将其文件解压到/export/servers/目录下。
Spark零基础入门实战（一）Scala安装
大数据实战派
12-05 786
Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。由于Scala运行于Java平台，因此安装Scala之前需要确保
Scala && Spark 安装
似水流年
10-28 582
Spark On Yarn ======================================================================================== 1、Scala 安装 http://www.scala-lang.org/files/archive/scala-2.9.3.tgz # tar xvzf scala-2.9.3.tgz
scala 和 spark的安装与使用
gao_的博客
12-13 522
一、安装JDK（建议JDK7以上） 略 二、安装Hadoop 2.x 略 三、安装Scala（2.10.4） 在root用户下分别执行下列操作 1.获取并解压安装包 tar –zvxf scala-2.10-2.10.4.tgz mv scala-2.10.4 scala 2.配置环境变量 gedit sudo /etc/profile 加入如下代码 export SCALA_HOME=/ho...
spark与Scala安装过程和步骤及sparkshell命令的使用
05-27 379
Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2....
spark、Scala的安装
流月心晴
05-26 340
Spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此S...
Spark大数据实战之四：Scala安装
小海鲜的博客
10-01 329
1、下载解压scala压缩包 去官网https://www.scala-lang.org/download/2.10.4.html下载 scala与jdk版本是相匹配的，如果jdk版本过低，解压配置完环境变量后，测试scala -version可能会出现如下问题： 意思是说jdk版本过低，需要更换更高版本或者下载较低版本的scala 下载完毕后拖拽到lala用户目录下，执行如下语句进行解压 tar -zvxf scala-2.10.4.tgz 2、配置系统文件 执行如下语句，打开.bash_prof
Spark基础学习笔记08：Scala简介与安装
howard2005的专栏
03-02 1940
1. 了解Scala语言的特点 2. 学会搭建Scala开发环境 3. 了解命令行模式与编译模式
Scala与Spark 2.1.0的详细安装教程
本篇文章详细介绍了Spark安装过程，主要针对Scala和Spark 2.1.0版本在Hadoop环境下的配置。以下是文章中涉及的关键知识点： 1. Scala 2.10.4 安装： - 首先，从Scala官网下载scala-2.10.4.tgz安装包，并将其复制到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值