本地idea测试 spark读取本地文件放到ha hdfs 报UnknownHostException异常

本地idea测试时,遇到java.net.UnknownHostException报错
方案1:在resources目录下添加core-site.xml和hdfs-site.xml文件,(失败)
方案2:在代码中直接引入(成功)

	  context = session.sparkContext
      context.hadoopConfiguration.set("fs.defaultFS", "hdfs://my_cluster")
      context.hadoopConfiguration.set("dfs.nameservices", "my_cluster")
      context.hadoopConfiguration.set("dfs.client.failover.proxy.provider.my_cluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")
      context.hadoopConfiguration.set("dfs.ha.namenodes.my_cluster", "namenode71,namenode164")
      context.hadoopConfiguration.set("dfs.namenode.rpc-address.my_cluster.namenode71", "node1:8020")
      context.hadoopConfiguration.set("dfs.namenode.rpc-address.my_cluster.namenode164", "node2:8020")

后来把这段配置注释掉,又尝试了方案1,发现也成功了(有毒)

遇到本地文件路径识别为hdfs路径报错:hdfs://my_cluster/D:/Files
方案1:增加路径开头file:\\(成功)

      clientLog = context.textFile("D:\\Files\\IDEA-study\\music-project-study\\data\\currentday_clientlog.tar.gz")
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Spark可以通过以下两种方式读取本地文件HDFS文件: 1. 读取本地文件 可以使用SparkContext的textFile()方法读取本地文件,例如: ``` val sc = new SparkContext("local", "read local file") val rdd = sc.textFile("file:///path/to/local/file") ``` 其中,"file://"表示读取本地文件,"/path/to/local/file"是本地文件的路径。 2. 读取HDFS文件 可以使用SparkContext的textFile()方法读取HDFS文件,例如: ``` val sc = new SparkContext("local", "read hdfs file") val rdd = sc.textFile("hdfs://namenode:port/path/to/hdfs/file") ``` 其中,"hdfs://"表示读取HDFS文件,"namenode"是HDFS的名称节点,"port"是HDFS的端口号,"/path/to/hdfs/file"是HDFS文件的路径。 ### 回答2: Spark是一个开源的分布式计算引擎,可以快速处理大量数据。Spark可以读取本地文件HDFS文件,下面分别介绍一下。 1、读取本地文件 Spark可以通过本地文件系统读取文件,可以使用以下代码: val inputFile = "file:///path/to/file" val data = sc.textFile(inputFile) 其中,inputFile是要读取文件的路径,可以是绝对路径或相对路径。file://表示文件协议,可以在路径前加上file://来指定文件协议。sc是SparkContext对象,用于与Spark集群进行通信。 2、读取HDFS文件 Spark也可以通过Hadoop分布式文件系统(HDFS读取文件,可以使用以下代码: val inputFile = "hdfs://namenode:port/path/to/file" val data = sc.textFile(inputFile) 其中,inputFile是要读取文件的路径,namenode是HDFS的名称节点,port是HDFS的端口号,可以在路径前加上hdfs://来指定HDFS协议。 需要确保Spark集群和HDFS集群之间的网络连接是可用的。如果Hadoop配置过程中设置了HADOOP_CONF_DIR环境变量,则Spark会自动加载Hadoop配置文件,否则需要在SparkConf对象中指定Hadoop配置文件的路径。 以上是关于Spark读取本地文件HDFS文件的介绍,Spark可以快速处理大规模数据,有很好的分布式计算能力。如果想进一步学习Spark,可以深入研究RDD、DataFrame、Spark SQL等模块,掌握Spark的高级功能。 ### 回答3: Spark是一个广泛使用的分布式计算引擎,支持从本地磁盘读取文件和从分布式文件系统HDFS读取文件。本文将详细介绍Spark如何读取本地文件HDFS文件。 1. 读取本地文件Spark中,可以使用以下语句读取本地文件: ``` val textFile = spark.read.textFile("file:///path/to/your/local/file") ``` 其中,"file://"是协议头,表示文件协议,"path/to/your/local/file"是本地文件的路径。在实际应用中,可以使用绝对路径或相对路径。 2. 读取HDFS文件 读取HDFS文件需要先在Spark环境中配置Hadoop的相关参数。在Spark程序中配置Hadoop参数可以通过以下两种方式: (1) 通过SparkConf配置 ``` val conf = new SparkConf().setAppName("ReadHdfsFile") conf.set("fs.defaultFS", "hdfs://namenode:9000") val sc = new SparkContext(conf) val textFile = sc.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 其中,fs.defaultFS是Hadoop文件系统的默认URI,用于在Hadoop集群中访问HDFS文件。本例中,将fs.defaultFS设置为"hdfs://namenode:9000",其中namenode代表的是HDFS的名称节点的主机名,9000是HDFS的默认端口。 (2)在spark-defaults.conf或yarn-site.xml文件中添加参数 在spark-defaults.conf中添加: ``` spark.hadoop.fs.defaultFS hdfs://namenode:9000 ``` 在yarn-site.xml中添加: ``` <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> ``` 通过以上配置,我们就可以通过以下代码在Spark读取HDFS文件: ``` val textFile = spark.read.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 以上就是Spark读取本地文件HDFS文件的方法。无论是读取本地文件还是读取HDFS文件Spark都提供了简便、高效的接口,使开发人员能够轻松地处理大量数据,进行分布式计算。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值