使用IntelliJ IDEA编写SparkPi直接在Spark中运行

最新推荐文章于 2024-09-10 16:15:11 发布
最新推荐文章于 2024-09-10 16:15:11 发布
阅读量7.6k 收藏 3
点赞数 4
分类专栏： machine learning Hadoop 文章标签： spark intellij idea scala idea sparkpi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GYQJN/article/details/49421789
版权
本文详细介绍了如何在IntelliJ IDEA中创建一个SparkTest工程，使用Scala编写SparkPi程序，并连接到Spark standalone集群进行运行。通过开启Spark，引入依赖，修改代码，打包JAR以及配置运行参数，最终成功运行程序并获取结果。
摘要由CSDN通过智能技术生成

使用IntelliJ IDEA编写Scala在Spark中运行

环境说明：hadoop-2.2.0+spark-1.1.0
hadoop是完全分布式，spark是standalone。在master节点master1上安装了IntelliJ IDEA。

1、开启spark

进入到spark的sbin目录,./start-all.sh命令开启spark。
注意：因为演示的是SparkPi demo，无需从hdfs读取数据，所以没有启动hadoop。可以根据需要启动hadoop。

2、在IntelliJ IDEA中新建SparkTest工程

将spark提供的SparkPi.scala文件中的内容拷贝到工程中（package语句除外）如下图所示。
这里写图片描述

2.1、在工程中引入spark-assembly-1.1.0-hadoop2.2.0.jar

“File”->”Project Structure”->”Libraries”->绿色加号->”java”,在弹出页面中到spark/lib目录下找到spark-assembly-1.1.0-hadoop2.2.0.jar，”OK”。如下图所示

最低0.47元/天 解锁文章
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5583
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
spark编程01——IDEA创建项目打包到集群中运行
SYITwin的博客
03-03 2303
一.IDEA打包过程： 1.新建一个测试程序： package com.sparkcore import org.apache.spark.{SparkConf, SparkContext} import scala.math.random object Test_jar { def main(args: Array[String]): Unit = { val spark = new SparkContext(new SparkConf().setAppName("SparkPi02".
Spark系列(五)IDEA编写及调试Spark的WordCount程序
淡淡的倔强的博客
07-12 2453
使用IDEA编写Spark程序的前提条件是IDEA已经配置好Scala的编写环境，可以参考Scala–IDEA配置及maven项目创建 在这里，我们以hadoop的wordcount为例，编写Scala程序，以本地模式和Yarn模式分别测试程序。Spark程序在开发的时候，使用IDEA编写程序及调试过程如下： 一、项目创建 1、创建Scala的Maven项目，pom.xml文件如下所示：...
IDEA 写第一个Spark程序
魚
04-19 407
下载成功！！！ 重新启动。 重启之后： 点击Create 如果报错，看 此博客主 ： https://blog.csdn.net/huanghanqian/article/details/80413478 报错： Plugin Scala was not installed: Cannot download 'https://plugins.jetbrains.com/plugi...
如何用IDEA编辑Scala代码
最新发布
2301_81373895的博客
09-10 337
win+r打开控制台输入path找到C:\Program Files (x86)\scala\bin;3、右键src新建scala类选择Object输入一个名称即可。1、在Windows控制台中验证环境变量是否配制成功。进去后选择全局库点击加号选择Scala SDK。2、打开IDEA点击左上角文件选择项目结构。点击后再点三次确定即可。有就说明已经配置好了。
IntelliJ Idea开发spark程序及运行
08-25
IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。 项目中缺这个包，请读者自行补上，在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： http://blog.csdn.net/jameshadoop/article/details/52313229
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
runepic的博客
06-14 6422
在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行
Intellij IDEA连接Spark集群
08-11
本文主要介绍如何在 IntelliJ IDEA 中配置并连接到 Apache Spark 集群，以便进行 Spark 应用程序的开发。 #### 二、准备工作 在开始配置之前，请确保你已经安装了以下软件： - **Java**：Spark 应用基于 Java 平台...
IntelliJ IDEA Win7环境下搭建Spark开发环境详解
- 复制Spark源码中的`SparkPi.scala`示例文件到`src/main/scala`，对代码进行必要的修改，例如更改`SparkConf`的实例化时的Master和AppName设置，以便于在IntelliJ IDEA中运行Spark程序。 通过以上步骤，用户就...
20-多对一的处理
2401_84814410的博客
05-13 518
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
idea创建spark教程
qq_29444571的博客
07-18 2798
idea 创建 spark 开发环境
win10操作虚拟机中hadoop IntelliJ IDEA直接运行代码（不需要打jar包）
lovely_J的博客
09-12 1811
IntelliJ IDEA 2018.2.3 (Ultimate Edition) VMware中CentOS6.5 Hadoop2.7.1 上课的时候老师使用的是Eclipse编译器,使用了 eclipse-hadoop的插件。可以直接在eclipse里运行，省去了先生成jar再发送的虚拟机中执行的过程。 由于编译器IDEA没有这种插件所以自己在网上找了一些帖子，对编译器...
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
好程序员大数据教程：SparkShell和IDEA中编写Spark程序
weixin_33763244的博客
05-28 237
好程序员大数据教程：SparkShell和IDEA中编写Spark程序，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序，我们可以在这个特殊的应用程序中提交应用程序spark-shell启动有两种模...
【Spark+NLP】5、使用spark-submit跑spark样例sparkpi.scala
PrincessLin的专栏
08-02 560
[学习笔记，欢迎指正] 1、我启动了hadoop，这么小的程序不需要启动。 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 cmd命令： cd D:\hadoop-2.8.3\sb...
IDEA可以正常运行，但是spark-shell不行
wtt561111的专栏
05-05 1054
IDEA下可以支持跑，但是shell下就不行了
spark:--spark-shell运行简单语句、用Idea编写例子--8
花满楼
02-06 961
spark集群启动：MASTER=spark://host:port ./spark-shell ********************************** 在终端：hadoop fs -tail /lab/SogouQ.full *********************************** scala> val data = sc.textFile("hdfs://s
用spark自带的示例SparkPi测试scala和spark集群
chenyuangege的专栏
03-08 6196
用spark自带的示例SparkPi测试scala和spark集群
使用IntelliJ IDEA开发Spark Scala程序
本地模式下，可以直接在IDEA中运行Spark应用。对于分布式部署，需要配置Spark的Master和Worker节点，通过提交Spark Job到集群来执行。这涉及到对Spark的提交命令（如`spark-submit`）的了解，以及对集群配置的熟悉。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值