基于IntelliJ Idea的Scala开发demo一Spark开发demo

最新推荐文章于 2024-05-07 07:10:28 发布
最新推荐文章于 2024-05-07 07:10:28 发布
阅读量888 收藏
点赞数 1
分类专栏： Spark/Hadoop 文章标签： Spark IntelliJ Idea Scala Demo spark开发
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/wgh1015398431/article/details/103046781
版权
本文介绍如何在IntelliJ Idea中进行Scala Spark开发，包括导入Spark依赖，编写WordCount示例代码，打包及运行。通过在build.sbt中添加Spark依赖，创建Scala object文件并实现WordCount，最后在Terminal中打包并运行，或者将jar包上传到集群运行。
摘要由CSDN通过智能技术生成

顺着之前SBT的HelloWorld案例（具体请参考我的另外一篇博文《基于IntelliJ Idea的Scala开发demo—SBT包管理demo》）

今天给出一个基于Scala的spark开发demo，大致的步骤如下：

  1. 导入Spark依赖包
  2. 代码编写
  3. 代码打包以及运行

导入Spark依赖包

打开项目中的build.sbt文件，添加如下Spark依赖内容：

name := "LzScalaSparkTest"
version := "0.1"
scalaVersion := "2.11.12"

// public version configuration
val sparkVersion = "2.3.4"

// https://mvnrepository.com/artifact/org.apache.spark
// spark dependencies
libraryDependencies ++= Seq(
  "org.apache.spark" %%
最低0.47元/天 解锁文章
心相印-Garrett
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark零基础入门实战（六）使用IntelliJ IDEA创建Scala项目
大数据实战派
12-09 1126
IntelliJ IDEA（简称IDEA）是一款支持Java、Scala和Groovy等语言的开发工具，主要用于企业应用、移动应用和Web应用的开发。IDEA在业界被公认为是很好的Java开发工具，尤其是智能代码助手、代码自动提示、重构、J2EE支持等功能非常强大。
基于Scala的spark开发环境搭建（一）
心相印的专栏
11-13 1323
具体步骤如下： 本地环境安装JDK 安装Intellij IDEA软件 在Intellij IDEA上安装scala插件 本地安装JDK环境 第一步：下载JDK的安装包（最新版本为JDK13），下载地址：（windows就下载.exe结尾的安装包，mac就下载.dmg结尾的安装包） https://www.oracle.com/technetwork/ 第二步：下载完成之后，直接双击安...
基于IntelliJ Idea的Scala开发demo一Spark-SQL操作Postgresql开发
心相印的专栏
11-15 515
本文主要是spark-sql与PostgreSQL的交互实现demo，具体步骤如下： 导入相关PostgreSQL的依赖驱动包 编写spark-sql操作PostgreSQL的代码 打包运行 导入相关PostgreSQL的依赖驱动包 如下图所示，在build.sbt依赖管理文件中加入如下依赖： // https://mvnrepository.com/artifact/org.postgres...
Scala 基础练习 Demo Demo.
weixin_41791130的博客
03-05 730
一：scala单例 package com.miaoli.day04 /** * desc: scala 的obje类型 * * 在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的 * 1.存放工具方法和常量 * 2.高效共享单个不可变的实例 * 3.单例模式 * Object是class的一个单例，其里面定义的都是静态的成...
大数据最全Spark-Scala语言实战（5），2024年最新细数大数据开发开发者的艰辛历程
最新发布
m0_74932057的博客
05-07 697
按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作，得到集合每个元素的长度val p = lengths.toList // 将数组转换为列表println(p) // 输出: List(2, 3, 4, 6)对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据val p1 = ppp.toList // 将数组转换为列表。
基于IntelliJ Idea的Scala开发demo一Spark-SQL开发demo
心相印的专栏
11-14 1189
真正在做数据分析和数据处理的时候，spark-sql还是用得比较的，本文主要给出基于Scala的spark-sql开发demo，本文已经假设IntelliJ Idea上的Scala开发环境，包括SBT已经安装配置完成，如果读者还没有这些准备的话，可以参考我前面的关于IntelliJ Idea上Scala的spark开发环境搭建相关文章。
基于IntelliJ Idea的Scala开发demo
心相印的专栏
11-13 612
光说不练假把式，本文主要针对前面文章《基于Scala的Spark开发环境搭建（一）》中提到的IntelliJ Idea工具中的Scala环境给出一个demo。 主要步骤如下： 创建一个Scala的项目 编写hello world代码 运行hello world代码 创建一个Scala的项目 打开IntelliJ Idea，选择“Create New Project”，如下图所示， 选择“Sc...
IDEA开发Spark应用实战(Scala)
2401_84048179的博客
04-23 713
各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！71716)][外链图片转存中…(img-bNEiEPLw-1713858471716)][外链图片转存中…(img-ZTLJlfKm-1713858471717)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
Intellij IDEA创建spark项目
m0_61022929的博客
08-18 2193
idea上创建spark方式
使用IDEA开发Scala程序.docx
06-05
在本实验中，我们将深入学习如何使用IntelliJ IDEA这一强大的集成开发环境(IDE)来开发Scala程序，特别是针对Apache Spark的应用。实验的目标是让学习者掌握如何在IDEA中配置和构建Spark本地应用程序，以及如何部署...
EasyCode是基于IntelliJ IDEA开发的代码生成插件
05-10
EasyCode是基于IntelliJ IDEA开发的代码生成插件，支持自定义任意模板（Java，html，js，xml）。只要是与数据库相关的代码都可以通过自定义模板来生成。支持数据库类型与java类型映射关系配置。支持同时生成生成多...
SparkTest:Intellij Idea中的Spark Scala项目样本
04-30
SparkTest是一个示例项目，它展示了如何在IntelliJ IDEA这个强大的Java和Scala开发环境中集成Apache Spark和Scala进行数据分析和处理。这个项目对于初学者和有经验的开发者来说，都是一个宝贵的资源，因为它提供了一...
intellij-scala：IntelliJ IDEA的Scala插件
02-05
设置项目先决条件为了参与Scala插件开发，您需要： IntelliJ IDEA 2020.1或更高版本以及兼容版本的Scala插件JDK 8 （可选，但建议）在IDEA中启用“ ”建立将此存储库克隆到您的计算机$ git clone ht
Statistic Tool 3.8.1 IntelliJ IDEA开发工具插件
03-04
Statistic对idea的版本有要求，如果你正在使用idea版本是2019.1及以前版本，你在安装Statistic代码统计插件时，你会发现找不到安装后应该出现在左下角的图标，在View -> Tool Windows里也没有，查看插件的话，显示...
基于spark的Scala编程—DataFrame操作之filter和where
心相印的专栏
11-20 7713
本文主要是写关于Scala如何操作spark的DataFrame，本文先介绍filter的用法，详细请看下面的步骤，以下所有的代码都是在IntelliJ Idea里面编写并且远程调试的。 先创建sparksession对象，代码如下： val conf = new SparkConf().setAppName("LzSparkDatasetExamples").setMaster("loc...
基于spark的Scala编程—DataFrame操作之select
心相印的专栏
11-20 6350
本文主要是写关于Scala如何操作spark的DataFrame，本文先介绍select的用法，详细请看下面的步骤，以下所有的代码都是在IntelliJ Idea里面编写并且远程调试的。 第一步，先创建sparksession对象，代码如下： val conf = new SparkConf().setAppName("LzSparkDatasetExamples").setMaster(...
基于spark的Scala编程—循环处理DataFrame方法
心相印的专栏
11-30 6001
本文主要介绍spark的Scala编程中的循环处理DataFrame的方法，本文主要是在写数据自动化测试的一个demo，大体的思路就是配置好了测试用例，现在需要批量执行测试用例。 目前主要有如下三个方法： For/While循环 多线程 DataFrame的foreachPartition函数 这里给出来的都是代码片段，如果需要演示上面集中方法，那么需要在本地先构造好初始的DataFrame，...
基于spark的流式数据处理—流计算处理流程以及应用场景
心相印的专栏
12-25 3205
本文主要从一下几个方面来介绍流计算处理流程： 概述 数据实时采集 数据实时计算 实时查询服务 概述 传统的数据处理流程，需要先采集数据并存储在关系数据库等数据管理系统中，之后由用户通过查询操作和数据管理系统进行交互，如下图所示： 传统的数据处理流程隐含了两个前提： 存储的数据是旧的。存储的静态数据是过去某一时刻的快照，这些数据在查询时可能已不具备时效性了； 需要用户主动发出查询来获取结果。...
使用IntelliJ IDEA开发Spark Scala程序
实验环境设定为基于Ubuntu 16.04的操作系统，配备了JDK 1.8，Spark 2.1.0，Hadoop 2.7.1，IntelliJ IDEA版本3.7，以及Scala 2.11.8。这些是开发和运行Spark程序的基本软件需求。 在IDEA中开发Spark程序的步骤如下：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值