Spark大数据实战之四：Scala安装

最新推荐文章于 2024-03-13 09:55:19 发布
最新推荐文章于 2024-03-13 09:55:19 发布
阅读量333 收藏
点赞数 2
分类专栏： 大数据实战 # Spark集群配置 文章标签： scala spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41749451/article/details/120579956
版权
该教程详细介绍了如何在Linux环境下下载并配置Scala，强调了Scala与JDK版本匹配的重要性。步骤包括下载Scala压缩包，解压并配置环境变量，通过.bash_profile文件更新系统路径，然后使用scp命令将配置复制到其他机器。最后，在所有机器上验证Scala安装成功，通过运行'scala-version'命令检查版本。
摘要由CSDN通过智能技术生成

1、下载解压scala压缩包

去官网https://www.scala-lang.org/download/2.10.4.html下载
在这里插入图片描述
scala与jdk版本是相匹配的，如果jdk版本过低，解压配置完环境变量后，测试scala -version可能会出现如下问题：
在这里插入图片描述

意思是说jdk版本过低，需要更换更高版本或者下载较低版本的scala

下载完毕后拖拽到lala用户目录下，执行如下语句进行解压

tar -zvxf scala-2.10.4.tgz

在这里插入图片描述

2、配置系统文件

执行如下语句，打开.bash_profile文件

gedit /home/lala/.bash_profile

在这里插入图片描述
配置如下环境变量

export SCALA_HOME=/home/lala/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin

在这里插入图片描述

3、配置生效

执行如下语句

source /home/lala/.bash_profile

在这里插入图片描述

4、发送到slave1、slave2

执行如下语句，将配置发送到其他两个机器上面

scp -r /usr/scala-2.10.4 slave1:/usr
scp -r /usr/scala-2.10.4 slave2:/usr

分别在slave1、slave2两个机器上执行上面第2步

5 、验证

分别在master、slave1、slave2执行如下语句，如果安装成功会显示如下图

scala -version

在这里插入图片描述

抢我糖还想跑
关注
专栏目录
Spark零基础入门实战（一）Scala安装
大数据实战派
12-05 792
Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。由于Scala运行于Java平台，因此安装Scala之前需要确保
spark、Scala的安装
流月心晴
05-26 345
Spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此S...
安装SCALA SPARK
qq_56435059的博客
03-25 1597
解压缩 tar -xvf scala.tar.gz -C /etc/hadoop 修改文件名 mv sacla~ sacla 配置环境变量 vim /etc/profile export SCALA_HOME=/etc/hadoop/scala export PATH=$PATH:$PATH:SACLA_HOME/bin 刷新 source /etc/profile 检测版本 sacla -version 解压缩spark tar -xvf spark.tar.gz -C /.
SCALA与SPARK安装
user_lib的博客
04-26 362
SCALA安装 下载好scala 2.12.解压到/usr/local/scala 然后添加环境变量 export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin 安装SPARK 下载好spark2.4 解压到/usr/local/spark 添加环境变量 export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SCALA_HOME/bin 配置 cd /usr/loc
scala和spark的安装
01-03
scala和spark的安装和配置，以及启动spark，分发节点。
高性能Spark大数据项目架构与案例实战 Scala大数据平台Spark项目案例穿插讲解课程
09-18
高性能Spark大数据项目架构与案例实战 Scala大数据平台Spark项目案例穿插讲解课程
大数据实战项目商品推荐系统源码+项目说明（Spark、Scala、MongoDB）.zip
01-15
大数据实战项目商品推荐系统源码+项目说明（Spark、Scala、MongoDB）.zip大数据实战项目商品推荐系统源码+项目说明（Spark、Scala、MongoDB）.zip大数据实战项目商品推荐系统源码+项目说明（Spark、Scala、MongoDB）...
大数据开发实战：SparkStreaming流计算开发
01-27
在大数据开发实战中，SparkStreaming的应用通常涉及以下几个关键步骤： 1. **数据摄入**：数据从各种源（如Kafka、Flume、TCP套接字等）摄入到Spark Streaming。 2. **数据转换**：微批数据经过一系列操作，如过滤...
基于Spark+Scala+MongoDB的大数据实战，商品推荐系统设计与实现.zip
10-23
基于Spark+Scala+MongoDB的大数据实战，商品推荐系统设计与实现.zip 1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做...
大数据Spark实战高手之路1---熟练的掌握Scala语言系列课程
07-03
### 大数据Spark实战高手之路1---熟练的掌握Scala语言系列课程 在当前的大数据处理领域，Apache Spark作为主流的数据处理框架之一，以其强大的数据处理能力、高效的内存计算模式及丰富的API支持备受青睐。而Scala...
sparkscala开发依赖包
07-29
sparkscala开发依赖包 ECLIPSE 开发IDE需要的对应依赖包
Spark+Scala安装
code__online的博客
06-17 994
集群环境 hostname IP master 192.168.63.12 slave1 192.168.63.13 slave2 192.168.63.14 Scala安装 master 下载scala包 wget https://downloads.lightbend.com/scala/2.11.4/scala-2.11.4.tgz 解压至指定路径 tar -z...
Scala和spark安装步骤
qq_45775632的博客
05-09 288
一 Scala安装 scala版本 2.11.8 网盘地址： 链接：https://pan.baidu.com/s/1Yppb82ORGvSgsSAf9TzZAA 提取码：qpyo 说明:hadoop 版本3.1.3 JDK1.8 注意注意:一定要注意版本一定要注意版本，因为版本hadoop，spark已经安装过无数遍了，不要吃版本的亏！！！！ 因为版本不对的问题后面使用maven还有sbt打包编译Java文件就没成功过！！ 把下载好的文件放在Linux系统“下载”文件夹下，打开终端 二 Scala测试
大数据实验1： Hadoop, Scala, Spark的安装
妈妈在家
11-18 2237
Why Spark?Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop基于MapReduce，适用于循环迭代类型数据处理 Spark针对机器学习算法，进行针对性计算优化，单元缩小到RDD模型
大数据基础-安装配置Scala
weixin_45154559的博客
04-29 207
scala下载 scala下载 打开scala的官网，拉动滚动条到页面底部下载如下图对应的安装包,直接安装即可,安装目录中不能出现空格或者特殊字符，否则会出现很多问题. windows下载如下图的scala安装包 mac系统安装参见官网 在命令行中执行scalac -version检查是否安装成功. 如果检查失败需要手动配置scala的环境变量，默认安装scala的时候已经将scala的bin...
Scala和Spark安装步骤
最新发布
2301_77751917的博客
03-13 440
修改配置文件 在spark下的conf目录打开env vim spark-env.sh。source /etc/profile使环境变量生效，scala -version查看是否安装成功。配置环境变量 vim /etc/profile。jps查看有master就是对的。查看spark是否安装成功。
window 下安装scala 和 spark，绝对成功！！
mike_jun的博客
12-06 844
安装Scala和spark的坑有点多呀，scala的版本与spark的版本是相关的。 jdk版本最好是：jdk1.8，可能其他版本会不成功 jdk（重要） scala spark hadoop 1.8.0_152 2.11.8 2.3.1 ...
spark和scala环境安装与部署（超详细版），我保证你敢看，你就学会了
2301_80975885的博客
03-08 6667
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
大数据学习23：Spark:大数据的计算引擎(Scala开发环境安装)
weixin_44804248的博客
05-09 231
第一部分：Scala编程语言 第二部分：Spark Core内核（最重要的内容）—> 概念RDD：相当于MapReduce 第三部分：Spark SQL：相当于Hive，也支持SQL语句 -----> 底层依赖Spark Core ----> 依赖RDD 第四部分：Spark Streaming：相当于Storm用于流式计算 - ----> 底层依赖Spark Core -...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值