idea配置spark开发环境时产生的错误总结

最新推荐文章于 2024-04-23 15:48:03 发布
最新推荐文章于 2024-04-23 15:48:03 发布
阅读量3k 收藏 2
点赞数
分类专栏： spark开发 scala 文章标签： idea scala spark 内存溢出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jaysonhu/article/details/51775736
版权

错误一

null>bin>winutils.exe not found

这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop
winutils.exe下载链接
然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME

错误二

build Artifacts时报错java.lang.outofmemoryerror

这里写图片描述

配置时output，因为运行环境中已经有相关包，所以其他包删除，只保留’compile output’那一项，这时再build就不会内存溢出

错误三

run时报错java.lang.outofmemoryerror

这里写图片描述

在run configuration中的VM options中-Xms256m -Xmx1024m
这时再build就不会内存溢出

jaysonhu
关注
专栏目录
windows环境下IDEA运行spark程序出现的异常问题
philonyun的博客
05-19 2939
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
最新!!!Spark开发环境配置(windows/2021版Intellij IDEA 篇)
sunlu1124的博客
06-03 1314
总结一下在windows系统中的配置过程，网上各种教程新旧正误繁杂（主要针对Intellij IDEA，很多帖子都是四五年前的，IDEA的页面都不一样），尤其是因为笔者对idea不熟悉，好不麻烦，就浪费好长时间。故而将自己摸索过程总结一下，其中部分内容是参考其他博主，部分内容是根据自己实际情况编写，方便Spark爱好者参考。 一、什么是集成开发环境（IDE） 集成开发环境（IDE）是一种用于构建应用程序的软件，可将常用的开发人员工具合并到单个图形用户界面（GUI）中。 IDE 通常由以下几个部分组成： •
Spark-IDEA环境报错
weixin_39216383的博客
02-25 248
环境背景: IntelliJ IDEA Community Edition 2017.3.2 Scala 2.11.8 Spark 2.2.0 Hadoop 2.6.0-cdh5.7.0 报错一： System memory 259522560 must be at least 471859200. 解决方案： 设置Run ->Edit Configurations->Application-
使用IDEA编写基于Scala的spark程序中的常见问题
ws_developer的博客
05-20 583
1，ClassNotFound    通过Project Structure 将  main 改为 sources 2，提示已经是一个Object     通过Project Structure 将 src 和 main 改为 sources 3， 提示   NoSourcesFind     spark  Scala 版本不同步     看官网    版本依赖
idea运行spark项目报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
weixin_43886470的博客
03-30 1741
4.如果还未能解决该错误，还可以在idea中设置run的vm options，即添加Djava.library.path="D:\hadoop-3.3.2"（亲测有效！我在其他教程中都没办法解决该错误，直到看到这一解决方法才运行成功！1.确保安装了hadoop。2.还要安装hadoop windows的winutils集成包，注意这里最好是下载与hadoop版本一致的winutils（我这里使用的是winutils的3.3.1版本，也是可行的）
（九）生成应用程序jar包——从0开始大数据开发实战：电影推荐系统（scala版）
qq_40959369的博客
06-18 751
为了能够把应用程序部署到Spark环境中运行，需要使用IDEA工具对程序进行打包，生成应用程序JAR包。 在IDEA工程界面中，打开菜单“File->Project Structure”，如下图所示。 然后，会弹出如下图所示界面，请依次点击“Artifacts”、绿色加号、“JAR”和“From modules with dependencies…”。 然后，在弹出的界面中（如下图所示），点击“Main Class”右边的省略号按钮。 在弹出的界面中，在搜索文本框中输...
使用Intellij Idea开发Spark应用遇到的问题
温润如风的博客
08-03 1894
如下图 诸如此类的错误，一般是设置scala文件所在的目录设置了多个source类型的文件夹
idea配置spark开发环境时产生的错误总结-附件资源
03-05
idea配置spark开发环境时产生的错误总结-附件资源
IDEA开发Spark应用实战(Scala)
最新发布
2401_84048179的博客
04-23 762
各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！71716)][外链图片转存中…(img-bNEiEPLw-1713858471716)][外链图片转存中…(img-ZTLJlfKm-1713858471717)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
spark升级后无logging类
08-11
在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。
idea中运行spark项目遇到的坑
会飞的鱼
07-28 1230
1、未加载到主类 这个问题有很多原因，我的原因是项目缺少.iml文件 删除.idea文件夹重新编译build 还有可能情况是项目的scala文件夹是否设置为source源 2、winutils.exe导致的报错 在window下本地运行spark需要系统中安装了hadoop，并且在hadoop/bin目录下有winutils.exe文件 3、\tmp\hive 没有写权限 这个因为本地运行spar...
windows下idea本地调试hadoop/spark
未来将会如何
05-22 625
hadoop： 下载hadoop2.7.6.tar.gz，解压 设置HADOOP_HOME，将%HADOOP_HOME%\bin\加入Path， 解压hadoop2.7.6_hadoop_dll_winutil_exe粘贴到bin目录，将winutils.exe粘贴到System32下 在项目的pom.xml中加入以下依赖 <dependency> <group...
Exception in thread "main" java.util.ServiceConfigurationError: org.apache.juli.logging.Log: Provid
CUIHUANRUI的专栏
10-24 5823
本地启动jetty时报错，发现tomcat-jdbc和本地jetty冲突，原因是因为父类加载顺序出现了问题 Exception in thread "main" java.util.ServiceConfigurationError: org.apache.juli.logging.Log: Provider org.eclipse.jetty.apache.jsp.JuliLog not
工程搭建 打算采用idea maven项目 遇到问题 spark dataset和dataframe问题
chixushuchu的博客
12-07 510
DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，DataFrame和DataSet合并为DataSet。 答案是：NO！首先，DataFrame和DataSet是基于RDDs的，而且这三者之间可以通过简单的API调用进行无缝切换。 参考博客https://blog.csdn.net/weixin_39793644...
idea spark编译出现error：object Apache is not a member of package org
weixin_43638075的博客
09-14 7840
在创建一个maven工程后将工程打成jar包时出现如下错误 再三确认pom.xml文件无误后，只能逐个排除问题，最后发现有可能是因为maven仓库的路径存在中文问题（因为默认安装在了user目录下,而我的用户名恰好是中文） 解决方法，复制 .m2文件 到没有空格没有中文的路径下，重新指定maven的仓库 好了成功解决。 ...
Spark程序在IDEA本地运行时报错解决
weixin_34088598的博客
05-25 467
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark中Java.io.Exception_Failed to delete /tmp/spark-....临时文件
YangSir7的博客
04-03 2570
Spark频繁提交任务导致崩盘         1：问题描述：Java.IO.Exception                  Failedto delete /temp/spark-----删除临时文件失败         2：问题原因：                  提交spark任务太过频繁，临时文件产生太多，导致磁盘溢出；         3：问题概述：              ...
Spark开发 Java程序运行时提示异常：System memory 107374182 must be at least 471859200
langzitianya422的博客
05-01 1062
原因：系统内存过小（spark1.5或者1.6以上有该问题） 解决方法如下： 源程序： public static void main(String[] args) { try(final SparkSession spark = SparkSession .builder() .master("local") .appName("JavaLocalWordCount") .getOrCreat...
idea创建python spark项目的步骤_使用Intellij IDEA构建spark开发环境
05-13
2.安装Intellij IDEA：Intellij IDEA是一款开发工具，可以用来编写和调试Python Spark代码。你可以从官方网站上下载适合你系统的Intellij IDEA版本。 3.创建项目：在Intellij IDEA中，选择“File”>“New Project”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值