IntellJ iDEA中使用Maven 编译直接本地跑spark ，如何给算法传参数(仅作备忘记录)

最新推荐文章于 2024-01-31 19:59:50 发布

RAYzongx

最新推荐文章于 2024-01-31 19:59:50 发布

阅读量1.4k

点赞数

分类专栏： Spark 文章标签： IntellJ IDEA 使用maven

本文链接：https://blog.csdn.net/RAYzongx/article/details/21235197

版权

Spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一：编译要执行的scala文件

二：点击edit Configuration

三：配置运行程序的输入args，我的参数是 local D:\test.txt AUC (注：空格分隔)

四：去掉maven里面是provided的jar 包，点击 pom.xml文件，将provideed注释掉

五：刷新一下maven 工程即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

RAYzongx

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

IntelliJ IDEA安装教程（以IDEA2020.1为例）

蓝多多的小仓库

12-15

46万+

不然会报错嗷（即：第六节所示）！因为我之前有JDK，所以为了更好的演示，我先把JDK17卸载了。

IntelliJ IDEA 集成 maven 开发环境搭建+创建Maven项目详细步骤

最新发布

2301_79099480的博客

05-03

1068

看完上述知识点如果你深感Java基础不够扎实，或者刷题刷的不够、知识不全面小编专门为你量身定制了一套针对知识面不够，也莫慌！还有一整套的，可以瞬间查漏补缺全都是一丢一丢的收集整理纯手打出来的。

参与评论您还未登录，请先登录后发表或查看评论

idea maven 编译 spark

01-05

1040

参考了 http://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/ https://github.com/sryza/simplesparkapp https://github.com/mesos/spark/pull/310 spark 是基于 cdh5 搭建 maven 配置

idea使用maven编写spark程序

weixin_42049345的博客

02-11

152

<build>  <plugins> <plugin> <groupId>org.scala-tools</groupId> <artif...

intellij idea 导入maven编译好的spark源码

wl555wl的博客

12-19

819

1.打开intellij idea(安装目录：/opt/idea) cd /opt/idea/bin ./idea.sh 2.Itelliji IDEA安装Scala插件打开IDEA,选择File->Settings->Plugins,选择Scala插件下载并重启完成安装。如果下载失败，可以通过本地下载scala插件，参考博客（http://blog.csdn.ne

【spark】idea 手动添加设置参数

小菜鸟望大神多多指教

09-27

1534

当你需要将项目打成jar在服务器上运行时，当你需要动态的更改输入url时，难道你还要每一次都去打包吗？不，如今你不需要这样做了，使用java时，你有Scanner可以控制台输入参数，同样的在scala中，你也是可以的。下面来跟我一起去看一下吧！首先第一步：object StrTest { def main(args: Array[String]): Unit = {

使用IntelliJ IDEA编译spark-1.3.0源码

chx3515的专栏

03-23

1587

1、下源spark源码spark-1.3.0.tgz，并解压； 2、打开IntelliJ IDEA，在欢迎界面上，选择“ImportProject”。 3、在“Select file ordirectory to import”界面中，找到第1步所解压出来的spark-1.3.0源码的根目录下的pom.xml文件。 4、在“Import project

解决idea使用maven编译正常但是运行项目时却提示很多jar包找不到的问题

08-18

使用IDEA和Maven可以方便地进行项目开发和管理 HOWEVER，有时在使用IDEA和Maven进行项目编译和运行时，却会出现一些问题，本文将详细介绍解决IDEA使用Maven编译正常但是运行项目时却提示很多jar包找不到的问题。...

IntelliJ Idea下Maven插件使用技巧.pdf

05-31

IntelliJ Idea下Maven插件使用技巧标签：Idea Maven IntelliJ Idea下Maven插件使用技巧，对于开发人员快速上手，并可能有效提高开发效率，特将此整理分享给大家。

spark/scala 项目main函数参数设置 idea设置实例

gRpc的博客

07-18

1025

此处传的参数是一个文本wordCount的文本/在hdfs上的

IDEA 下如何本地运行SPARK程序

08-18

1947

1、主要是在VM options这里配置 -Dspark.master=local，即可直接在本地运行spark程序 2、如果代码中需要传递参数，通过CommandLine和Options来解析，需要在Program arguments这里进行配置即可，比如--parameter xx --parameter2 xxx ...

Spark每日半小时（4）——Spark基础参数传值

DK_ing的博客

06-02

1175

向Spark传递参数 Spark的大部分转化操作和一部分行动操作，都需要依赖用户传递的函数来计算。在我们支持的三种主要语言中，向Spark传递函数的方式略有区别。这里主要写Java 在Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。根据不同的返回来行，我们定义了一些不懂的接口。我们把最基本的一些函数接...

在IDEA中编写spark程序

weixin_33875839的博客

01-02

409

这里以一个scala版本的word count 程序为例：①创建一个maven项目：②填写maven的GAV：③填写项目名称：④ 创建好 maven 项目后，点击 Enable Auto-Import⑤配置pom.xml文件： <properties> <project.build.sourceEncoding>UTF8</project.build.so...

Maven常用参数说明

木木与呆呆的专栏

03-27

969

缩写全名说明 -h --help 显示帮助信息 -am --also-make 构建指定模块,同时构建指定模块依赖的其他模块 -amd --also-make-dependents 构建指定模块,同时构建依赖于指定模块的其他模块 -B --batch-mode 以批处理(batch)模式运行 -C --strict-che...

在IDEA里运行spark

热门推荐

啊帅和和的博客

11-03

1万+

最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。文章里所提到的各类配置文件的下载网址在最后。在IDEA里运行spark所需要的前期准备事项： 1.本地电脑里已经配置完成Scala 2.本地电脑里已经配置完成maven 3.本地电脑里已经配置完成Hadoop （这里推荐本地电脑里配置这几种版本的Hadoop： 1、Hadoop-2.6.3 2、Hadoo

Idea 本地运行spark程序参数配置

很吵请安静

08-25

5491

在idea上运行spark程序，需要配置部分如下点击run->Edit configuration VM options 配置的是配置参数，规定了spark运行的一些配置 program arguments 配置的是输入的参数，要注意的是，输入变量和对应的值之间用空格分开，并且值不需要用引号括起来...

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

weixin_40968325的博客

01-31

993

本文介绍了两种重要的配置方式：Live Templates 和文件模板。Live Templates 是一种快速生成常用代码片段的方法，而文件模板则允许您定义新文件的初始代码结构。通过本文，您将学会如何配置这两种模板，从而加速您的开发流程。

Idea如何往main方法传参(String[] args)

当我谈编程时我谈些什么

10-09

5691

public static void main(String[] args) { System.out.println(args); for (int i = 0; i < args.length; i++) { System.out.println(args[i]); } 在idea中添加参数 ①点击Run下的Edit Configurations ②配置Configuration页中的Program arguments选项，就可以在i.

掌握IntelliJ IDEA中Maven配置的高效方法

在IntelliJ IDEA中配置Maven是一个常见的任务，这涉及到设置Maven的仓库位置、配置文件以及IDE的设置参数，以便能够顺利地进行项目构建、依赖管理等开发工作。" 1. Maven配置基础在IntelliJ IDEA中进行Maven配置，...