textfilestream_Spark从本地文件流式传输到hdfs。textFileStream-问答-阿里云开发者社区-阿里云...

我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录，并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是，当我开始流式传输时，没有任何事情发生。我检查了日志，但我没有得到提示。

让我解释一下这个场景。shell脚本将在本地目录中每5秒移动一个带有一些数据的文件。流上下文的持续时间对象也是5秒。当脚本移动一个新文件时，如果我没有错，则保持原子性。接收器将每隔五秒处理数据并创建Dstream对象。我刚刚搜索了流本地目录，发现路径应该提供为“file：/// my / path”。我没试过这种格式。但如果是这种情况，那么节点的spark执行器将如何保持所提供的本地路径的公共状态？

import org.apache.spark._

import org.apache.spark.streaming._

val ssc = new StreamingContext(sc, Seconds(5))

val filestream = ssc.textFileStream("/home/karteekkhadoop/ch06input")

import java.sql.Timestamp

case class Order(time: java.sql.Timestamp, orderId:Long, clientId:Long, symbol:String, amount:Int, price:Double, buy:Boolean)

import java.text.SimpleDateFormat

val orders = filestream.flatMap(line => {

val dateFormat = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss")

var s = line.split(",")

try {

assert(s(6) == "B" || s(6) == "S")

List(Order(new Timestamp(dateFormat.parse(s(0)).getTime()), s(1).toLong, s(2).toLong, s(3), s(4).toInt, s(5).toDouble, s(6)=="B"))

}catch{

case e: Throwable => println("Wrong line format("+e+") : " + line)

List()

}

})

val numPerType = orders.map(o => (o.buy, 1L)).reduceByKey((x,y) => x+y)

numPerType.repartition(1).saveAsTextFiles("/user/karteekkhadoop/ch06output/output", &#