IDEA中运行Spark验证出差

最新推荐文章于 2022-01-11 18:05:24 发布
最新推荐文章于 2022-01-11 18:05:24 发布
阅读量387 收藏
点赞数
分类专栏： Spark 日志 Java 文章标签： Spark 开发环境 大数据 Hadoop kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianlangstudio/article/details/119830516
版权
日志 同时被 3 个专栏收录
86 篇文章 1 订阅
订阅专栏
Java
47 篇文章 0 订阅
订阅专栏
Spark
23 篇文章 0 订阅
订阅专栏

问题描述：

          本地开发环境设置好了Hadoop也设置好了Java/Scala/HADOOP_CONF_DIR等环境变量，在IDEA中运行Spark访问服务器Hadoop报: 

Exception in threa "main" org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]

解决方法: 

          将服务器Hadoop配置文件hdfs-site.xml, core-site.xml放到项目Classpath中，也就时resource目录中问题解决.

也可能是设置的环境变量IDEA还没有读取到,可以重启IDEA试下.

一个不安分的程序员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【hadoop】AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]
九师兄
03-03 1848
今天要对接华为的hadoop环境，然后我要执行相关的kerberos认证，然后获取到他们的YarnClient。但是报错 他们给的demo案例如下 authentication是主要的安全认证都在这里 做一些检测，然后执行hadoop认证 真正的hadoop认证 在认证中是调用了返回一个用户信息，然后返回给 然后对应的配置文件如下 执行主类运行结果正常,可以看到获取到了Yarn相关的信息 1.2 我的异常 我的跟这个一样的，把他们的Jar包拷贝到我们项目，而且这块认证的跟他们一样，但是我的无法认证通过 然后
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7 PATH 里添加%HADOOP_HOME%\s
org.apache.hadoop.security.AccessControlException:权限不足解决方案
小小小博客
12-09 1242
org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionCheck...
org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE
Shadow--DIUDIUU)gJ(Y2Pr*NX
09-23 2402
org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。 　　这个错误有些蹊跷，因为我已经在map/reduce locations中配置了用户名是root，不知道它为什么
解决“org.apache.hadoop.security.AccessControlException”
Camu7s的专栏
12-09 2万+
在运行某个Spark Application的时候，需要向Hdfs写入文件，控制台会输出以下错误信息：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRI
Kerberos常见问题
wank1259162的博客
01-11 1万+
Error Messages to Fear 参考地址：Introduction · Hadoop and Kerberos: The Madness Beyond the Gate Security error messages appear to take pride in providing limited information. In particular, they are usually some generic IOException wrapping a generic securit
java能否实现访问kerberos和simple安全级别的两个集群（补充解决方案）
qq_41768413的博客
09-26 3845
走过路过的java/hadoop大神，帮忙给看看。现在我的java程序，需要同时实现对多个集群的读写，这些集群分别由kerberos和simple这样不同的安全级别，我是在方法中用分支实现的，但是访问时，总是会出现互相影响的情况，基本有两种异常。 如果simple集群访问成功，kerberos集群会失败，异常信息： org.apache.hadoop.security.AccessContr...
解决.security.AccessControlException: org.apache.hadoop.security .AccessControlException方法
zazazazaza96的博客
04-23 1192
hadoop在远程提交时出现org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode=“hadoop”: hadoop:supergr...
Spark 本地连接远程服务器上带有kerberos认证的Hive
主要分享大数据相关的知识，如Spark、Hudi
11-01 4664
前言 因为公司的测试环境带有kerberos，而我经常需要本地连接测试集群上的hive，以进行源码调试。而本地认证远程集群的kerberos，并访问hive，和在服务器上提交Spark程序代码有些不同，所以专门研究了一下 并进行总结。 服务器上 在服务器上提交Spark程序认证kerberos比较简单，有两种方法： 使用kinit 缓存票据 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-192-168-44-128.inda
idea远程调试spark的步骤讲解
08-26
今天小编就为大家分享一篇关于idea远程调试spark的步骤讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
IntelliJ Idea开发spark程序及运行
08-25
IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。 项目中缺这个包，请读者自行补上，在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： ...
SparkTest:Intellij Idea中的Spark Scala项目样本
04-30
火花测试 测试项目。 Spark + Intellij Idea + Scala的集成。
使用IDEA运行Spark程序
10-07
使用IDEA运行Spark程序，自己搭建成功所写，比较适合初学者
org.apache.hadoop.security.AccessControlException: Permission denied: user=
weixin_30375247的博客
02-01 306
这个是权限问题,可以配置下，然后重启hadoop集群解决,目前简单的解决方式是： 在hdfs-site.xml 总添加参数： <property> <name>dfs.permissions</name> <value>false</value></property> 但是，查看hadoop的接口发现...
从 "org.apache.hadoop.security.AccessControlException:Permission denied: user=..." 看Hadoop ...
weixin_34234721的博客
04-06 129
假设远程提交任务给Hadoop 可能会遇到 "org.apache.hadoop.security.AccessControlException:Permission denied: user=..." ， 当然，假设是spark over YARN， 也相同会遇到相似的问题，比如： An ...
记一次Spark Kerberos的故障解决
chncaesar的专栏
08-13 7852
有同事反馈，Livy Server启动的所有Spark AM失败。Livy启动的Spark AM默认会enableHiveSupport，且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos。 livy.server.launch.kerberos.keytab livy.server.launch.k...
从 "org.apache.hadoop.security.AccessControlException:Permission denied: user=..." 看Hadoop 的用户登陆认证
热门推荐
我相信......
04-19 2万+
如果远程提交任务给Hadoop 可能会遇到 "org.apache.hadoop.security.AccessControlException:Permission denied: user=..." ， 当然，如果是spark over YARN， 也同样会遇到类似的问题，例如： An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : org.apache.hadoop.security.Ac
org.apache.hadoop.security.AccessControlException 解决办法
蚂蚁窝
07-02 1万+
异常1: 上传文件到hdfs，找不到文件 异常2: spark-shell启动报错 org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 异常3： 远程提交任务给Hadoop 可...
idea中spark
最新发布
07-27
在IDEA中配置Spark环境可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Scala插件包，并且创建了一个新的Maven工程。你可以选择使用org.scala-tools.archetypes:scala-archetype-simple作为Maven工程的模板\[3\]。 2. 在Project Structure中检查Global Libraries，确保scala工具包的版本是scala-sdk-2.11.12。如果不是正确的版本，需要移除错误的版本\[3\]。 3. 修改pom.xml文件，将scala.version设置为2.11.12，并添加Spark的依赖。你可以在Maven仓库中搜索Spark Project Core和Spark Project SQL的依赖，并选择适合你的Spark版本（比如2.4.5）和Scala版本（比如2.11）\[3\]。 4. 在新建的Maven工程中，创建一个scala文件，例如DemoSpark.scala。在该文件中，你可以编写一个简单的Spark操作命令，如下所示： ```scala import org.apache.spark.{SparkConf, SparkContext} object DemoSpark { def main(args: Array\[String\]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local\[2\]").setAppName("hellospark") val sc: SparkContext = SparkContext.getOrCreate(conf) println(sc) } } ``` 这个示例代码创建了一个SparkConf对象，设置了本地运行模式和应用程序名称，然后通过SparkContext来获取Spark的上下文对象\[2\]。 通过按照以上步骤配置好环境，你就可以在IDEA中运行Spark程序了。希望这些步骤对你有帮助！ #### 引用[.reference_title] - *1* [在IDEA里运行spark](https://blog.csdn.net/l_dsj/article/details/109468288)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [[Spark] 手把手教你在IDEA中搭建Spark环境](https://blog.csdn.net/brave_zhao/article/details/105714286)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个不安分的程序员

祝您财源广进

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值