idea配置spark开发环境时产生的错误总结

最新推荐文章于 2023-08-11 14:38:07 发布
原创 最新推荐文章于 2023-08-11 14:38:07 发布 · 3.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#idea #scala #spark #内存溢出

本文介绍了Hadoop使用过程中常见的三个错误及其解决方案：1.找不到winutils.exe文件；2.buildArtifacts时报内存溢出错误；3.run时报内存溢出错误。针对这些问题提供了具体的步骤和设置方法。

错误一

null>bin>winutils.exe not found

这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop
winutils.exe下载链接
然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME

错误二

build Artifacts时报错java.lang.outofmemoryerror

这里写图片描述

配置时output，因为运行环境中已经有相关包，所以其他包删除，只保留’compile output’那一项，这时再build就不会内存溢出

错误三

run时报错java.lang.outofmemoryerror

这里写图片描述

在run configuration中的VM options中-Xms256m -Xmx1024m
这时再build就不会内存溢出

解决Idea创建spark工程报错：Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
AriesLY0411的博客
02-28 4588
不能解析plugin org。 scala工具:maven-scala-plugin:未知 解决方案： 首先：IDEA插件自动生成的pom文件中scala的版本是2.7，需要修改成与本地scala一致的版本号，我的是2.12.10 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h.
Spark源码学习笔记4-SparkEnv
lzy2014的专栏
04-30 2336
继3-LiveListenerBus之后，我们来看看SparkContext构造函数中初始化的SparkEnv
Spark-IDEA环境报错
weixin_39216383的博客
02-25 304
环境背景: IntelliJ IDEA Community Edition 2017.3.2 Scala 2.11.8 Spark 2.2.0 Hadoop 2.6.0-cdh5.7.0 报错一： System memory 259522560 must be at least 471859200. 解决方案： 设置Run ->Edit Configurations->Application-
使用IDEA编写基于Scala的spark程序中的常见问题
ws_developer的博客
05-20 666
1，ClassNotFound    通过Project Structure 将  main 改为 sources 2，提示已经是一个Object     通过Project Structure 将 src 和 main 改为 sources 3， 提示   NoSourcesFind     spark  Scala 版本不同步     看官网    版本依赖
idea中运行spark项目遇到的坑
会飞的鱼
07-28 1301
1、未加载到主类 这个问题有很多原因，我的原因是项目缺少.iml文件 删除.idea文件夹重新编译build 还有可能情况是项目的scala文件夹是否设置为source源 2、winutils.exe导致的报错 在window下本地运行spark需要系统中安装了hadoop，并且在hadoop/bin目录下有winutils.exe文件 3、\tmp\hive 没有写权限 这个因为本地运行spar...
2020-09-26
qq_45270810的博客
09-26 86
IDEA Exception in thread “main” java.lang.UnsupportedClassVersionError: 这是本人在学Spark程序开发遇到的问题 解决过程： 1.重新建个项目文件 File→New→Project 2.补充pom文件（更新pom文件） 3.File→setting设置好maven_home 改完记得点Apply 4.添加scala File????Library????“＋”????Scala SDK????Browse……????（解压后的
Spark问题汇总
u014622092的博客
03-29 643
idea执行spark程序异常 spark程序打包不成功
解决idea编写spark程序时，import org.apache.spark报错
qq_42400267的博客
12-05 2万+
问题描述 导入spark程序时，spark显示不能识别此符号 解决： 去官网对应spark版本的压缩包，链接 解压，既有jars目录
Pycharm配置Spark环境时候遇到的几个问题
weixin_44454100的博客
08-11 1479
原因一般就是import的包版本不对导致的，我本人的Linux环境spark版本为3.2.0，而pycharm里面pyspark包的版本却是latest的3.4.1版本，说白了货不对板导致的。原因就是Windows和Linux的用户名不一致，由于，Hadoop的权限验证是依靠Linux系统的，而用户名不一致，会报错。
scala和spark用到的依赖_如何在IntelliJ IDEA中创建Spark / Scala项目（无法解析build.sbt中的依赖项）？...
weixin_39653761的博客
12-24 417
I'm trying to build and run a Scala/Spark project in IntelliJ IDEA.I have added org.apache.spark:spark-sql_2.11:2.0.0 in global libraries and my build.sbt looks like below.name := "test"version := "1....
delta-lake搏斗记录
OSCAR_WU1636645469的博客
02-20 400
delta-lake bug
idea import spark.implicits._ 报红，无法导入
滴水穿石的启示
01-04 2703
错误的代码 def main(args: Array[String]): Unit = { SparkSession.builder() .appName("Test DF") .config("config.option", "some-value") .getOrCreate() //import implicit DF,DS import spark.im
idea build非常慢build artifacts非常慢的问题，检查是否存在target 多层嵌套问题
myitsite的博客
02-21 2万+
出现这个问题一般2个方面的问题 第一、进入file-&gt;Project Structure-&gt;Modules-&gt;选中项目名称-paths 把Exclude Output paths 打钩 第二、你的pom.xml resources是否正确，注释掉看一下  ...
Spark 报错 Failed to delete: C:\Users\lvacz\AppData\Local\Temp\spark-*
终回首的博客
05-26 4565
一、问题 在win10，local模式执行完spark任务后不论是否可以执行出结果，都会报错： Failed to delete: C:\Users\lvacz\AppData\Local\Temp\spark-7921735f-07fa-45db-875e-5a6440eb7e79 部分日志： 21/05/26 13:01:34 WARN SparkEnv: Exception while deleting Spark temp dir: C:\Users\lvacz\AppData\Local\Temp
（九）生成应用程序jar包——从0开始大数据开发实战：电影推荐系统（scala版）
qq_40959369的博客
06-18 832
为了能够把应用程序部署到Spark环境中运行，需要使用IDEA工具对程序进行打包，生成应用程序JAR包。 在IDEA工程界面中，打开菜单“File->Project Structure”，如下图所示。 然后，会弹出如下图所示界面，请依次点击“Artifacts”、绿色加号、“JAR”和“From modules with dependencies…”。 然后，在弹出的界面中（如下图所示），点击“Main Class”右边的省略号按钮。 在弹出的界面中，在搜索文本框中输...
使用Intellij Idea开发Spark应用遇到的问题
温润如风的博客
08-03 1985
如下图 诸如此类的错误，一般是设置scala文件所在的目录设置了多个source类型的文件夹
Spark程序运行常见错误解决方法以及优化
热门推荐
sdujava2011
11-12 2万+
一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output location org.apache.spark.shuffle.Metadata
Hadoop windows 本地执行Mapreduce 报错 Error while running command to get file permissions
曾经是个DBA
08-09 1万+
package cn.hadoop.mr.flowsum; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.ma
Idea 本地运行spark程序参数配置
很吵请安静
08-25 5726
在idea上运行spark程序，需要配置部分如下 点击run-&gt;Edit configuration VM options 配置的是配置参数，规定了spark运行的一些配置 program arguments 配置的是输入的参数，要注意的是，输入变量和对应的值之间用空格分开，并且值不需要用引号括起来...
Spark本地开发环境搭建与IDEA项目配置
本文将围绕“Spark Local + Maven + IDEA项目”这一主题，深入解析其背后涉及的关键知识点，包括开发环境搭建、工具链整合、本地测试配置以及核心语法学习等内容，帮助开发者全面理解如何在Windows系统下使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值