win上idea运行代码，报错找不到hadoop winutil.exe不配环境变量的做法

靓仔写sql

已于 2023-09-19 16:35:56 修改

阅读量214

点赞数 1

文章标签：大数据 hadoop

于 2023-08-31 11:46:34 首次发布

本文链接：https://blog.csdn.net/qq_42402817/article/details/132600022

版权

因为配置环境变量比较麻烦，公司电脑还涉及管理员权限，着实麻烦，甚至还会遇到安装不好的情况，哈哈，这个方案可以减少那些时间；
配置 System.setProperty(“hadoop.home.dir”, “D:\ruanjian\hadoop-2.6.5”)
hadoop下载链接：https://github.com/sunnyandgood/BigData/blob/master/HDFS/hadoop-common-2.6.0.zip

import org.apache.spark.sql.SparkSession

object test1 {
  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir", "D:\\ruanjian\\hadoop-2.6.5")
    //    创建 SparkSession 对象
    val ss: SparkSession = SparkSession.builder
      .appName("CreateRDDExample")
      .master("local[*]")
      .getOrCreate()

    // 创建 RDD
    val rdd: RDD[Int] = ss.sparkContext.parallelize(1 to 10)

    // 转换为列表
    val rdd_list: Array[Int] = rdd.collect()
    for (data <- rdd_list) {
      println(data)
    }
  }
}