idea保存结果至HDFS报错:Permission denied

最新推荐文章于 2024-04-26 15:52:54 发布

念念不忘_

最新推荐文章于 2024-04-26 15:52:54 发布

阅读量739

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/bb23417274/article/details/87934187

版权

hadoop 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

解决方法
修改hfds-site.xml文件

 <property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

拷贝至所有节点,然后重启hadoop

package com.ws.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object RangeTest {
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setAppName("RangeTest").setMaster("local")
    sparkConf.set("dfs.permissions","false")
    val sparkContext: SparkContext = new SparkContext(sparkConf)

    val sourceRdd: RDD[String] = sparkContext.textFile("hdfs://192.168.0.21:9000/test")

    val result: RDD[(String, Int)] = sourceRdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)

    result.saveAsTextFile("hdfs://192.168.0.21:9000/result")

    sparkContext.stop()
  }

}

参考来自