Spark程序在IDEA本地运行时报错解决

最新推荐文章于 2023-04-11 21:23:46 发布
最新推荐文章于 2023-04-11 21:23:46 发布
阅读量467 收藏 1
点赞数
文章标签： 大数据 开发工具 java
原文链接：https://my.oschina.net/hehongbo/blog/908832
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

报错信息： java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use

解决方式一： 设置应用程序的 VMoptions。IDEA的设置路径在：Run -> Edit Configurations -> Application选择对应的程序，设置VM options：-Xmx512M，或者：-Xms256m -Xmx1024m

解决方式二： 在创建SparkConf的时候代码设置： scala版本： val conf = new SparkConf() .setAppName("map").setMaster("local") .set("spark.testing.memory", "2147480000")

Java版本： SparkConf conf = new SparkConf().setAppName("map").setMaster("local").set("spark.testing.memory", "2147480000");

转载于:https://my.oschina.net/hehongbo/blog/908832

weixin_34088598
关注
spark idea本地执行报错 SparkUI) to an available port or increasing spark.port.maxRetries
yy的博客
12-14 1792
报错: SparkUI) to an available port or increasing spark.port.maxRetries 解决方法 val spark = SparkSession .builder() .appName("redis-df") .master("local[1]") .config("spark.redis.host", "192.168.9.88") .config("spark.redis.
Idea编写Spark运行报错(spark scala版本不一致)
weixin_43125677的博客
08-03 2050
Idea编写Spark运行报错 报错信息 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less; at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:...
IDEA创建Spark程序，并本地运行
bai1cai1的博客
07-19 5490
1. 所需的配置文件 配置的安装包如下图，可在此提取 ，提取码为c7tv。 2. 配置JDK与Scala的环境变量 JDK环境变量的配置过程参考这里 。Scala环境变量的配置过程： 并在path中添加路径：%SCALA_HOME%\bin; (路径之间用分号;隔开)。 3. IDEA创建Scala项目进行测试 4. IDEA创建maven项目进行测试 安装好IntelliJ IDEA后，创建...
Spark程序本地运行
weixin_30697239的博客
11-07 318
Spark程序本地运行 本次安装是在JDK安装完成的基础上进行的！ SPARK版本和hadoop版本必须对应！！！ spark是基于hadoop运算的，两者有依赖关系，见下图： 前言： 1.环境变量配置： 1.1 打开“控制面板”选项 1.2.找到“系统”选项卡 1.3.点击“高级系统设置” 1.4.点击“环境变量” 2.新建和编辑环境变量 ...
IDEA本地执行 or 调试Spark Application的方法
Coders的博客
07-23 1272
1.背景： Spark是基于内存的分布式计算框架，在大数据时代应用广阔，同Hadoop一样，在写代码时一般都需要将jar部署到集群或者单节点上，这样可能会造成操作上的繁琐。 对此，本人查找了一些方法，使得Spark或者Hadoop程序可以在本地IDE中执行（常见的java编写工具有Eclipse或者IntelliJ）， 2. 介绍：在直接运行中肯定报 “A master URL must be
windows下 idea本地运行sparkStreaming + kafka 测试程序
fengnzx
04-19 1403
1. 安装zookeeper 1.下载zookeeper：http://zookeeper.apache.org/releases.html 2.解压，将conf文件夹下zoo_sample.cfg重命名为zoo.cfg，修改其中的配置： #修改配置项： dataDir=D:/dzy/envpath/zookeeper-3.4.14/data #增加配置项： dataLogDir=D:/d...
spark本地调试（idea）
qq_24095055的博客
10-23 3173
spark批处理程序通常是跑在类似yarn等集群环境中的，可是在进行开发的时候，不可避免的需要进行本地开发调试，记录下idea下调试本地spark程序方法。 demo代码： /** * @description: 读取本地json文件，字符串解析出id并输出 */ object CountPictureByDayTest { def main(args: Array[String]): Unit = { @transient val spark = SparkS
在 idea 上运行 scala 程序报错ERROR Shell Failed to locate the winutils binary in the hadoop binary path
weixin_49063354的博客
09-22 434
在 idea 上运行 scala 程序报错问题解决： 本文解决的 error 信息如下： 200922 181933 INFO SparkContext Running Spark version 3.0.0 200922 181933 ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io.IOException Could not locate executable nullbinwinutil
IDEA Spark程序报错处理
weixin_30236595的博客
11-02 914
错误一： 17/11/02 16:19:55 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at Person.<init>(RDD_To_DataFr...
IDEA本地运行Flink-java版
u014034497的专栏
05-04 5875
1、背景 flink作为当前最火实时大数据框架，也想阅读其源码，并实战一下它 2、具体步骤 2.1 环境准备 jdk1.8+ 即可 ,因为flink 大部分是Java编写的 2.2 创建idea项目 和普通的创建maven java项目一样，没有区别 2.3 pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs
用idea编译spark源码出现错误 not found: type SparkFlumeProtocol...not found: type EventBatch
nudt北极星的专栏
10-15 8821
在使用sbt对spark源代码进行编译之后（流程请查看上一篇博客http://blog.csdn.net/zhaoyunxiang721/article/details/49096507），使用idea来build源代码时可能会出现 如下错误： Error:(45, 66) not found: type SparkFlumeProtocol   val transactionTimeout
spark--IntelliJIdea中jar包提交到spark报错解决
prettysky123的专栏
01-26 875
在IntelliJ上利用Maven开发spark程序，今天遇到一个问题：在IntelliJ上可以运行的程序，利用Bulid Artifacts来打好jar包之后，再用spark-submit 提交运行之后老是报错： $ spark-submit --class MySpark --master local sparktest.jar SLF4J: Class path contains m
Spark-IDEA环境报错
weixin_39216383的博客
02-25 248
环境背景: IntelliJ IDEA Community Edition 2017.3.2 Scala 2.11.8 Spark 2.2.0 Hadoop 2.6.0-cdh5.7.0 报错一： System memory 259522560 must be at least 471859200. 解决方案： 设置Run ->Edit Configurations->Application-
spark远程提交报错
yy的博客
01-09 499
报错内容 Caused by: java.io.InvalidClassException: org.apache.spark.sql.execution.datasources.FilePartition; local class incompatible: stream classdesc serialVersionUID = 3545283692550565578, local class serialVersionUID = 7485156529130905057 我的代码 // 我这
spark 本地idea运行：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession 去了provided依旧无效的解决办法
最新发布
程序员的博客
04-11 693
解决了遇到spark 本地idea运行：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession 情况时，去了provided依旧无效的问题
解决Idea创建spark工程报错：Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
AriesLY0411的博客
02-28 4241
不能解析plugin org。 scala工具:maven-scala-plugin:未知 解决方案： 首先：IDEA插件自动生成的pom文件中scala的版本是2.7，需要修改成与本地scala一致的版本号，我的是2.12.10 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h.
IDEA 本地运行 Spark Demo 报错
runzhliu大数据/容器日记
11-28 573
运行spark demo时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)。 这个问题可以说是新手必须会遇到的问题了，主要原因是环境中的 Scala 版本和 Spark 的 Scala 版本不一致所导致的。 很多文章也提到了，把 pom.xml 文件改一下，到 Project 信息里查看 Sc...
运行spark时出现：<console>:10: error: not found: value sc
热门推荐
Mr Zhu's little cute
08-06 1万+
运行spark时出现：:10: error: not found: value sc 出现错误的界面如下图所示： **描述：明明早上以及前几天都用得好好的，下午就频频报错，网上的解决方法挺少，不过，发现了个网站的方法挺齐全。链接如下：最详细的解决方法 当然，这几个方法并不适用于我的，毕竟我出错的地方实在是由于本人的马大哈造成的。 最后的解决方法： 我打开的scala是scla路径下的Scala，...
idea中运行spark项目遇到的坑
会飞的鱼
07-28 1231
1、未加载到主类 这个问题有很多原因，我的原因是项目缺少.iml文件 删除.idea文件夹重新编译build 还有可能情况是项目的scala文件夹是否设置为source源 2、winutils.exe导致的报错 在window下本地运行spark需要系统中安装了hadoop，并且在hadoop/bin目录下有winutils.exe文件 3、\tmp\hive 没有写权限 这个因为本地运行spar...
idea创建spark程序，并本地运行
03-16
3. 在本地运行Spark程序，可以使用以下命令： ``` spark-submit --class <main-class> --master local[*] ``` 其中，`<main-class>`是Spark应用程序的主类名，`<path-to-jar-file>`是打包后的jar文件路径。`-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值