SparkStreaming无法读取hdfs文件

代码如下:

package com.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

object SparkStreamHDFS {

  def main(args: Array[String]): Unit = {
    val sparkConf =new SparkConf().setMaster("local[*]").setAppName("SparkStream").set("spark.testing.memory", "2147480000")
    val sc= new SparkContext(sparkConf)
    val ssc = new StreamingContext(sc,Seconds(10))

    val fileStreamLine: DStream[String] = ssc.textFileStream("hdfs://****/user/hive/warehouse/dsc_ods.db/spark_data")

    val dStream: DStream[String] = fileStreamLine.flatMap(line => line.split("\\| "))
    val map: DStream[(String, Int)] = dStream.map((_,1))
    val key: DStream[(String, Int)] = map.reduceByKey(_+_)
    key.print()

    ssc.start()
    ssc.awaitTermination()
  }
}

无论如何执行,都无法读取到hdfs上的数据,经过排查以及网上资料搜索,本地集群时间不同步导致该问题,调整时间同步后解决。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值