使用IntelliJ IDEA编写SparkPi直接在Spark中运行

最新推荐文章于 2023-11-01 15:56:32 发布
最新推荐文章于 2023-11-01 15:56:32 发布
阅读量7.6k 收藏 3
点赞数 4
分类专栏： machine learning Hadoop 文章标签： spark intellij idea scala idea sparkpi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gyqjn/article/details/49421789
版权
本文详细介绍了如何在IntelliJ IDEA中创建一个SparkTest工程，使用Scala编写SparkPi程序，并连接到Spark standalone集群进行运行。通过开启Spark，引入依赖，修改代码，打包JAR以及配置运行参数，最终成功运行程序并获取结果。
摘要由CSDN通过智能技术生成

使用IntelliJ IDEA编写Scala在Spark中运行

环境说明：hadoop-2.2.0+spark-1.1.0
hadoop是完全分布式，spark是standalone。在master节点master1上安装了IntelliJ IDEA。

1、开启spark

进入到spark的sbin目录,./start-all.sh命令开启spark。
注意：因为演示的是SparkPi demo，无需从hdfs读取数据，所以没有启动hadoop。可以根据需要启动hadoop。

2、在IntelliJ IDEA中新建SparkTest工程

将spark提供的SparkPi.scala文件中的内容拷贝到工程中（package语句除外）如下图所示。
这里写图片描述

2.1、在工程中引入spark-assembly-1.1.0-hadoop2.2.0.jar

“File”->”Project Structure”->”Libraries”->绿色加号->”java”,在弹出页面中到spark/lib目录下找到spark-assembly-1.1.0-hadoop2.2.0.jar，”OK”。如下图所示

最低0.47元/天 解锁文章
lqf1403
关注
专栏目录
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5458
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
Spark系列(五)IDEA编写及调试Spark的WordCount程序
淡淡的倔强的博客
07-12 2437
使用IDEA编写Spark程序的前提条件是IDEA已经配置好Scala的编写环境，可以参考Scala–IDEA配置及maven项目创建 在这里，我们以hadoop的wordcount为例，编写Scala程序，以本地模式和Yarn模式分别测试程序。Spark程序在开发的时候，使用IDEA编写程序及调试过程如下： 一、项目创建 1、创建Scala的Maven项目，pom.xml文件如下所示：...
IDEA 写第一个Spark程序
魚
04-19 396
下载成功！！！ 重新启动。 重启之后： 点击Create 如果报错，看 此博客主 ： https://blog.csdn.net/huanghanqian/article/details/80413478 报错： Plugin Scala was not installed: Cannot download 'https://plugins.jetbrains.com/plugi...
IntelliJ Idea开发spark程序及运行
08-25
IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。 项目中缺这个包，请读者自行补上，在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： http://blog.csdn.net/jameshadoop/article/details/52313229
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
runepic的博客
06-14 6298
在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行
Intellij IDEA连接Spark集群
08-11
本文主要介绍如何在 IntelliJ IDEA 中配置并连接到 Apache Spark 集群，以便进行 Spark 应用程序的开发。 #### 二、准备工作 在开始配置之前，请确保你已经安装了以下软件： - **Java**：Spark 应用基于 Java 平台...
Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
热门推荐
databatman的工厂
08-29 1万+
spark-scala使用IntelliJ搭建的开发环境。
Spark本地模式运行环境搭建
tyh1579152915的博客
03-12 2448
Spark运行环境搭建 文章目录Spark运行环境搭建前言一、本地模式1.1基于IDEA和Maven的Spark开发环境搭建1.1.1 IDEA中增加Scala插件1.1.2 配置全局的Scala SDK1.1.3 添加Spark依赖关系1.1.4 wordCount测试案例1.1.5 将程序打成jar包1.2 Spark Local 环境搭建和测试二、使用步骤1.引入库2.读入数据总结 前言 Spark程序有四种运行环境，分别如下： 本地模式 ​1、local -> 主要用于开发(IDEA中运行)
idea创建spark教程
qq_29444571的博客
07-18 2642
idea 创建 spark 开发环境
win10操作虚拟机中hadoop IntelliJ IDEA直接运行代码（不需要打jar包）
lovely_J的博客
09-12 1788
IntelliJ IDEA 2018.2.3 (Ultimate Edition) VMware中CentOS6.5 Hadoop2.7.1 上课的时候老师使用的是Eclipse编译器,使用了 eclipse-hadoop的插件。可以直接在eclipse里运行，省去了先生成jar再发送的虚拟机中执行的过程。 由于编译器IDEA没有这种插件所以自己在网上找了一些帖子，对编译器...
在IDEA运行spark程序（搭建Spark开发环境）
最新发布
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
好程序员大数据教程：SparkShell和IDEA中编写Spark程序
weixin_33763244的博客
05-28 230
好程序员大数据教程：SparkShell和IDEA中编写Spark程序，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序，我们可以在这个特殊的应用程序中提交应用程序spark-shell启动有两种模...
【Spark+NLP】5、使用spark-submit跑spark样例sparkpi.scala
PrincessLin的专栏
08-02 538
[学习笔记，欢迎指正] 1、我启动了hadoop，这么小的程序不需要启动。 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 cmd命令： cd D:\hadoop-2.8.3\sb...
IDEA可以正常运行，但是spark-shell不行
wtt561111的专栏
05-05 1035
IDEA下可以支持跑，但是shell下就不行了
spark:--spark-shell运行简单语句、用Idea编写例子--8
花满楼
02-06 945
spark集群启动：MASTER=spark://host:port ./spark-shell ********************************** 在终端：hadoop fs -tail /lab/SogouQ.full *********************************** scala> val data = sc.textFile("hdfs://s
用spark自带的示例SparkPi测试scala和spark集群
chenyuangege的专栏
03-08 6179
用spark自带的示例SparkPi测试scala和spark集群
IDEA配置spark与pycharm配置spark教程
左手coding，右手cooking
06-18 604
eclipse配置spark1.6.0教程 https://kevin12.iteye.com/blog/2274179 这里注意修改,根据自己的修改 com.Johnson Spark_2.3.1 1.0-SNAPSHOT <?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>com.Johnson</g...
使用IntelliJ IDEA开发Spark Scala程序
本地模式下，可以直接在IDEA中运行Spark应用。对于分布式部署，需要配置Spark的Master和Worker节点，通过提交Spark Job到集群来执行。这涉及到对Spark的提交命令（如`spark-submit`）的了解，以及对集群配置的熟悉。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值