idea中运行spark项目遇到的坑

最新推荐文章于 2024-04-07 08:52:21 发布
最新推荐文章于 2024-04-07 08:52:21 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： spark采坑集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010800708/article/details/97613625
版权

1、未加载到主类
这个问题有很多原因，我的原因是项目缺少.iml文件
删除.idea文件夹重新编译build
还有可能情况是项目的scala文件夹是否设置为source源

2、winutils.exe导致的报错
在window下本地运行spark需要系统中安装了hadoop，并且在hadoop/bin目录下有winutils.exe文件

3、\tmp\hive 没有写权限
这个因为本地运行spark项目用到了hive所以需要配置hive的默认数据目录\tmp\hive
winutils.exe chmod d:\tmp\hive

方兵兵
关注
专栏目录
云平台发放的虚拟机无法提交spark任务到大数据集群上（双IP）：Service ‘sparkDriver‘ failed after 16 retries...correct binding ...
lukabruce的博客
05-28 473
1 现象描述 部分异常： Service 'sparkDriver' failed after 16 retries.......correct binding address. 云平台发放的虚拟机包含两个IP，包含虚拟机内部实际的网络地址（ifconfig查看到的内网IP：192.168.xx.xx）和对方访问的IP（绑定的外网虚拟IP：11.11.xx.xx）,想要在云平台外访问虚拟机需要使用外网IP经过一次网络地址转换，直接使用内部IP是无法访问的。 所以在当任务提交的时候实际使用的是内部
在IDEA中利用Maven创建Spark项目
小小良
06-08 2510
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
Spark 开发过程当中遇到的若干大坑（持续更新中......）
weixin_34270865的博客
08-26 225
2019独角兽企业重金招聘Python工程师标准>>> ...
使用Intellij Idea开发Spark应用遇到的问题
温润如风的博客
08-03 1894
如下图 诸如此类的错误，一般是设置scala文件所在的目录设置了多个source类型的文件夹
IDEA开发Spark提示failed to locate the winutils binary in the hadoop binary
专注于后端开发，时常接触大数据 、人工智能等
03-20 711
转自： https://blog.csdn.net/Utopia_1919/article/details/52451952 今天整理电脑删了一些没用的东西，回过头开发spark的时候发现spark提示错误： 16/09/06 17:20:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pat...
解决idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio
etastgrehyjrt的博客
04-20 2204
背景：idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解决办法：安装Windows版本hadoop，再配置环境变量，在idea中添加环境变量 第一步 下载hadoop的windows版本 第二步 配置环境变量
IDEA 连接远程spark操作hive的操作和遇到的坑
qq_17734605的博客
07-21 7535
在搭建IDEA使用遇到了一些坑和解决了下面废话不多说，附上步骤 1.配置本地HADOOP_HOME 下载winutils的windows的版本， 地址：https://github.com/srccodes/hadoop-common-2.2.0-bin，直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录 例如：...
Win7下使用idea远程调试运行在虚拟机上spark-hadoop集群
qq_28453127的博客
08-03 1431
环境准备 1.已在虚拟机上上搭建好集群环境,jps显示正确。 2.idea已配置好scala插件 3.hadoop版本为2.6.5,spark版本为2.2.0,scala版本为2.11.0 开始配置 本人第一次配置环境时遇到了非常多的坑,最后采取建立scala项目而不是maven项目的方法解决(也许maven项目依旧可以运行) 1.idea新建scala项目,可以不选择scala ...
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1251
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
【spark2】【源码学习】【环境编译】在idea导入spark源码,执行example并debug
梦，不可及，所以可期待...
10-05 523
一直想搞清楚spark读取不同数据源时的分区是怎么决定的，趁着国庆有时间终于下决心来做这个事。关于这个分区数，很多说法，最后决定自己看下源码，也算是接触spark源码的第一步吧。挺多坑，零零散散花了2天多的时间，总算跑通spark源码里面的example了。mark一下。 一、spark源码包下载&解压 spark下载传送门（可能需要翻墙） 下载完，拷贝到自己想放的目录，双击即可解压得到项目文件夹。 二、安装maven&scala 2.1、 先到刚刚解压出来的spark源码根目录，打开.
IDEA运行spark程序错误解决：Failed to locate the winutils binary in the hadoop binary path
...
04-13 5907
第一步：下载winutils的windows版本。打开GitHub地址：https://github.com/srccodes/hadoop-common-2.2.0-bin, 直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录。例如解压目录为：e:\env\ 第二步：配置环境变量 。增加系统变量名HADOOP_HOM...
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
qq_65303368的博客
02-22 979
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。
Scala调用Spark工具包出现错误: 找不到或无法加载主类
我在深圳的这些日子的博客
09-01 4480
使用IDEA编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的办法。 注：Scala版本为2.11.12；Java版本为1.8；Spark版本为2.1.0；系统是MAC OS。 首先检查Scala的配置“File -> Project Structure…” 1）检查了"Platform Settings "项目
在IDEA中开发代码，并运行在Spark集群中的问题
yiran9741的博客
10-24 412
在IDEA中编写scala代码及编译。这里就不详细赘述了。1、spark-submit提交时，总是发现加载失败！ 有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。 2、详细的说明见 ：https://my.oschina.net/cjun/blog/509247 如下： 最后运行
windows环境下IDEA运行spark程序出现的异常问题
philonyun的博客
05-19 2939
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
在IDEA里运行spark
热门推荐
啊帅和和的博客
11-03 1万+
最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。 文章里所提到的各类配置文件的下载网址在最后。 在IDEA里运行spark所需要的前期准备事项： 1.本地电脑里已经配置完成Scala 2.本地电脑里已经配置完成maven 3.本地电脑里已经配置完成Hadoop （这里推荐本地电脑里配置这几种版本的Hadoop： 1、Hadoop-2.6.3 2、Hadoo
[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark
最新发布
NBA首席形象大使坤坤
04-07 1412
**原因：**实际上问题的根本原因，是因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly.jar已经不存在。原来的 jar包分解为：jars/.jar 解决办法：到Saprk官网下载spark安装包，然后解压spark，将jars下的所有jar包添加到项目lib中。 spark下载地址：https://archive.apache.org/dist/spark/ 解压后将jars目录放到自己熟悉的地方，然后在IDEA中为项目添加l.
idea打jar包时 报错D:\workspace\project\target\classes\processes\orderProcedure.bpmn (拒绝访问)
lph107的博客
04-18 5155
解决方案： 选中项目 --->快捷键F4,弹出 修改一下output Path:路径解决问题 。
IDEA中详细指南：配置sbt管理Spark项目与常见问题
在本教程中，我们将学习如何在IntelliJ IDEA中配置Sbt (Scala Build Tool)，以便有效地管理和构建Spark项目。与Maven相比，Sbt以其简洁的配置和高效的构建流程受到许多开发者的青睐。以下是详细的步骤和一些关键设置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值