基于Scala的spark开发环境搭建（二）

最新推荐文章于 2023-11-20 12:03:51 发布
最新推荐文章于 2023-11-20 12:03:51 发布
阅读量524 收藏 1
点赞数
分类专栏： Spark/Hadoop 文章标签： IntelliJ Idea Spark Scala Scala开发环境 SBT
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/wgh1015398431/article/details/103043931
版权
该博客详细介绍了基于Scala的Spark开发环境搭建过程，包括IntelliJ Idea中JDK的配置，SBT依赖包管理工具的安装与配置。文章以mac电脑为例，提供了清晰的操作步骤，对于Windows用户也有相似的指导。
摘要由CSDN通过智能技术生成

本节主要写基于Scala的spark开发环境配置相关，关于JDK和IntelliJ Idea的安装以及Scala插件的安装，请参考《基于Scala的Spark开发环境搭建（一）》。

本节主要包含：

  1. IntelliJ Idea开发工具的JDK的配置
  2. SBT依赖包管理工具安装
  3. IntelliJ Idea工具的SBT的配置

IntelliJ Idea开发工具的JDK的配置

打开IntelliJ Idea软件，如下图所示：

img

选择“Configure=>Structure for new projects“，如下图所示，选择“SDKs”，并且选择“+”（添加），然后选择你之前安装的JDK的根目录，单击“OK”即可完成JDK的配置。

img

SBT依赖包管理工具安装

SBT依赖包下载以及安装请参考中文官方网站：

最低0.47元/天 解锁文章
心相印-Garrett
关注
专栏目录
基于Scala的spark开发环境搭建（一）
心相印的专栏
11-13 1334
具体步骤如下： 本地环境安装JDK 安装Intellij IDEA软件 在Intellij IDEA上安装scala插件 本地安装JDK环境 第一步：下载JDK的安装包（最新版本为JDK13），下载地址：（windows就下载.exe结尾的安装包，mac就下载.dmg结尾的安装包） https://www.oracle.com/technetwork/ 第二步：下载完成之后，直接双击安...
基于Scala实现的Spark算法实例+源代码+文档说明
最新发布
03-29
- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
利用Scala语言开发Spark应用程序
zyj8170的专栏
05-08 988
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典型应
什么是spark？
huyuminNo1的专栏
04-10 325
关于Spark： Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算， 拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS， 因此Spark能更 好地适用于数据挖掘...
学习scala好的项目
02-02
该scala项目时自己整理的，对初学者很有帮助，里面包含了scala各种技术
Spark开发环境搭建
06-15
Spark开发环境搭建 Spark 是一个基于内存的分布式计算框架，由 Apache 开发，是一个开源的数据处理引擎。为了使用 Spark，需要搭建 Spark 开发环境，这篇文章将指导您如何安装 Spark、配置环境变量、使用 Local ...
基于linux的spark与scala开发环境搭建
zhangyuming010的专栏
07-08 6906
软件配置：       操作系统：centos 6.4（如下图） 内核版本：2.6.32（如下图）
spark开发环境搭建(eclipse)
05-05
Spark 开发环境搭建（Eclipse） Spark 开发环境搭建是指在 Eclipse 集成开发环境中设置和配置 Spark 开发环境的过程。Spark 是一个基于 Hadoop 的大数据处理框架，它提供了高效的数据处理能力。为了在 Eclipse 中...
spark底层为什么选择使用scala语言开发
m0_46168848的博客
08-29 1636
集成性：Scala 是一种运行在 Java 虚拟机（JVM）上的静态类型编程语言，可以与 Java 代码无缝集成。由于 Spark 涉及到与大量 Java 生态系统的交互，例如 Hadoop、Hive 等，使用 Scala 可以方便地与这些组件进行集成和交互。函数式编程支持：Scala 是一种面向函数式编程的语言，提供了丰富的函数式编程特性，如高阶函数、闭包等。这些特性使得编写复杂的数据处理逻辑变得更加简洁和灵活，而大规模数据处理正是 Spark 的核心任务之一。
scala-2.13.1.zip
11-01
scala2.13 scala2.13scala2.13scala2.13scala2.13scala2.13
scala操作spark sql处理游戏数据
m0_71892364的博客
11-20 288
写的过程中相对来说还是挺顺利的，并没有太多的错误，主要注意的点就是里面的数值需要cast转换一下，不然数据数据精度会丢失。
云计算实验3 基于Scala编程语言的Spark数据预处理实验
Sunny不要停的博客
11-07 2449
本次实验主要使用了Scala语言进行基本的操作，基本熟悉Scala的基本语法、数据类型以及函数的使用，在spark-shell下完成RDD的基本操作，根据实际业务需求使用spark 完成对Apache格式的日志内容的分析，了解了自定义日志过滤函数、日志预处理、日志的相关指标等操作。
Spark之IDEA创建基于Scala语言的Spark Maven项目
weixin_45666566的博客
01-17 1585
创建MVN1、创建Maven工程1.1 新建一个工程1.2 设置Maven配置指向2、 首先我们需要搭建好相关的环境，包括：IntelliJ IDEA（官网上下载最新的就行了）、JDK（1.8）、Scala（2.12.12）、Spark(3.0.1)、Hadoop（2.7.4）Maven(如果你下载的是最新版的IDEA的话就不用下载了，因为IDEA里面已经自带了）（安装完后记得添加环境变量） 1、创建Maven工程 1.1 新建一个工程 创建出来就是这样的 1.2 设置Maven配置指向 Fi
Scala快速入门(适用于学习Spark)
qq_40078490的博客
02-09 6595
Scala介绍 Scala是一种针对JVM 将面向函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。Scala融汇了许多前所未有的特性，让开发者能够很好的而同时又运行于JVM之上。随着大数据的日益发展，scala必定会成为必不可少的开发语言。
超详细部署Scala和spark
风吹屁屁凉
04-09 1584
一、部署scala: 1.在zzti账户下创建一个libs文件夹，如：mkdir /zzti/libs 2.进入到libs文件夹下 cd /zzti/libs 3.上传sacla（rz 这里用的是Xshell），解压（tar -zxvf scala-2.12.8.tgz），并建立软连接（ln -s scala-2.12.8 scala） 二、部署spark: 上传spark-2.2.3-b...
Spark2.2.0 + Scala2.13.0集群搭建
sinat_34022298的博客
08-21 5239
Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相对应的Hadoop。Spark计算框架以Scala语言开发，因此部署Spark首先需要安装Scala及JDK。Hadoop集群参考： ubuntu16+Hadoop2.7.3环境搭建（伪分布式），改为分布式集群 JDK版本：1.8.0 Scala版本：scala-2.13.0-M1 spar
spark安装与环境配置
Handoking的博客【学无止境】
07-18 946
1.安装spark 官网 http://spark.apache.org/downloads.html 考虑到spark之后要结合hadoop一起使用，所以下载和已经安装hadoop版本均兼容的spark (首先安装好hadoop hadoop的安装：参考 http://dblab.xmu.edu.cn/blog/install-hadoop/ 选择伪分布式配置（因为我是单机运行，有集群...
Spark环境搭建与Scala开发详解
接着，如何在IntelliJ IDEA中设置Scala开发环境，并下载和编译Spark 1.6。 1.3.2 导入并调试章节介绍了如何将源码导入IDE，构建项目，并通过运行JavaWordCount类进行初步实践。同时，还涉及远程调试的步骤，这对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值