Intelli Idea下 一个Spark的小例子

最新推荐文章于 2023-11-01 15:56:32 发布
最新推荐文章于 2023-11-01 15:56:32 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark 文章标签： spark ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anita0221/article/details/60867606
版权
本文介绍了在Ubuntu16.04环境下，如何使用Intelli IDEA Community版搭建Scala项目，并通过Spark处理数据，将RDD保存到本地。步骤包括安装IDE、配置Scala插件、创建项目、设置源代码目录、导入Spark库、编写Scala代码、打包成jar，最后在Spark集群上运行并查看结果。
摘要由CSDN通过智能技术生成

使用的是Ubuntu16.04
1、下载Intelli Idea的Community版本，并解压放到/opt/路径下，这里下载的为2016.3.5版本
http://www.jetbrains.com/idea/download/#section=windows

2、打开终端，进入解压后的idea目录，运行bin下idea.sh

cd /opt/idea    
bin/idea.sh

这里写图片描述

3、点击右下角的configure-plugins-Install JetBrains Plugins，找到Scala并Install
这里写图片描述

4、点击create

最低0.47元/天 解锁文章
tethys0221
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IntelliJ Idea开发spark程序及运行
08-25
IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。 项目中缺这个包，请读者自行补上，在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： http://blog.csdn.net/jameshadoop/article/details/52313229
intelli idea中配置Tomcat找不到的解决办法
09-29
主要介绍了intelli idea中配置Tomcat找不到的解决办法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
IDEA编写Spark案例WordCount(Scala和Java编程)
weixin_38023225的博客
10-29 1064
用idea编写Spark程序 创建RDD,然后对RDD进行操作（调用RDD的方法，方法分为两类，一类叫Transformation（懒，lazy）,一类叫Action(执行程序)） RDD上的方法和Scala原生的方法是有区别的 写好程序，打包上集群运行 本地模式运行spark程序，.setMaster("local[*]") 1.Scala编写 1.1 配置pom.xml文件 &...
IDEA开发Spark应用实战(Scala)
程序员欣宸的博客
02-17 1万+
实战IDEA开发Scala版的Spark应用
[Spark] 使用IDEA构建Spark应用程序实例
Cindy的博客
07-16 671
环境： 本地：win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件，机器要求可以联网（需要下载各种依赖包） 远程：CentOS7.3 + jdk1.8 + scala-2.11.12 + hadoop-2.6.0-cdh5.7.0 + hive-1.1.0-cdh5.7.0-bin + spark-2.2.0-bin-2....
使用IntelliJ IDEA15.0.4开发spark的简单案例
Re_Virtual的博客
03-31 5042
IntelliJ IDEA15.0.4开发spark的wordcount实例，本地运行和集群运行
Intelli idea 创建 SpringMVC 工程
11-10
SpringMVC 是一个轻量级的、基于组件的 Web 应用框架，它作为 Spring 框架的一部分，为开发 MVC（Model-View-Controller）模式的应用程序提供了强大支持。在 IntelliJ IDEA 这样的集成开发环境中创建 SpringMVC 工程...
IntelliJ IDEA -settings.zip
09-27
4. **installed.txt**：这个文件可能记录了已安装的插件列表，虽然它并不直接影响设置，但可以作为一个参考，帮助你了解原用户在IntelliJ IDEA中使用了哪些插件，以便在新环境中重现相同的开发环境。 导入这些设置...
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
spark简单案例、独立应用搭建——idea中基于maven构建spark应用程序
Geek白先生的博客
09-08 519
spark简单案例 独立应用搭建–基于Maven构建Spark应用程序 1.创建Maveng工程 2.配置pom文件 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</group...
hadoop scala spark 例子项目，运行了单机wordcount
07-28
hadoop scala spark 例子项目，运行了单机wordcount
Spark 入门之 Scala 语言解释及示例讲解
02-24
Scala 语言衍生自 Funnel 语言。Funnel 语言尝试将函数式编程和 Petri 网结合起来，而 Scala 的预期目标是将面向对象、函数式编程和强大的类型系统结合起来，同时让人要能写出优雅、简洁的代码。本文希望通过一系列 Java 与 Scala 语言编写的相同程序代码的对比，让读者能够尽快地熟悉 Scala 语言。
Scala-spark程序案例
S..hao
12-19 432
1.数据去重 程序代码 import org.apache.spark.{SparkConf, SparkContext} //数据去重 object quchong { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("数据去重").setMaster("local") v...
IntelliJ IDEA开发Spark案例之WordCount
邵奈一的博客
03-28 4550
教程目录0x00 教程内容0x01 新建Maven项目1. 新建Maven项目2. 项目配置3. 引入项目的依赖0x02 编写WordCount代码1. 新建包2. 编写scala代码0x03 校验结果1. 统计文件准备2. 统计结果0xFF 总结 0x00 教程内容 新建Maven项目 编写WordCount代码 校验结果 实验前提： a. 安装好了windows本地的scala b. 安装...
在IDEA中编写spark程序
weixin_33875839的博客
01-02 392
这里以一个scala版本的word count 程序为例：①创建一个maven项目：②填写maven的GAV：③填写项目名称：④ 创建好 maven 项目后，点击 Enable Auto-Import⑤配置pom.xml文件： <properties> <project.build.sourceEncoding>UTF8</project.build.so...
Intellij IDEA创建spark项目
m0_61022929的博客
08-18 2201
idea上创建spark方式
使用IDEA编写Spark应用程序
Silence的博客
08-15 1921
spark应用程序的开发可以在本地，也可以在集群模式下。使用IDEA与使用eclipse开发的步骤基本一致，程序内容完全一样，只是对集成开发环境的操作有所不同。 一、安装IDEA集成开发环境 1、（https://www.jetbrains.com/idea/）在这个连接下可以下载各种版本的IDEA，可以选择Windows，Linux，Mac三种环境。 2、直接安装IDEA即可，安装过程中会
idea创建spark教程
qq_29444571的博客
07-18 2548
idea 创建 spark 开发环境
spark--IDEA开发Spark程序-★★★★★
qq_46893497的博客
02-21 177
IDEA开发Spark程序工程准备创建项目添加pom依赖创建WordCount编写WordCount-★★★★★-重点修改代码并打包到Yarn运行上传jar包并提交到yarn上运行补充:命令说明spark-shell和spark-submit命令参数 工程准备 创建项目 添加pom依赖 <!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories> <repository>
INTELLI IDEA修改字体和背景颜色
最新发布
01-16
下面是一个示例的代码块，展示了如何在IntelliJ IDEA中修改字体和背景颜色： ```shell 1. 打开IntelliJ IDEA并进入设置界面。 2. 选择"Editor"，然后选择"Color Scheme"。 3. 在"Color Scheme"选项卡中，选择你喜欢...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值