netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。netcat所做的就是在两台电脑之间建立链接并返回两个数据流,通过与其他工具结合和重定向,你可以在脚本中以多种方式使用,你能建立一个服务器,传输文件,与朋友聊天,传输流媒体或者用它作为其它协议的独立客户端。
首先在centos7上安装netCat,联网情况下运行命令yum install nmap-ncat.x86_64。
安装完毕后,运行命令nc -lk 8888,将标准输入转发到192.168.119.51(安装natcat的机器)的8888端口,,并将返回输出到标准输出。
测试程序如下:
package cn.allengao.stream
import org.apache.spark.{HashPartitioner, SparkConf}
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
/**
* class_name:
* package:
* describe: 实现按批次累加的功能,实现WordCount
* creat_user: Allen Gao
* creat_date: 2018/2/11
* creat_time: 11:19
**/
/*
maven里面添加依赖:
*/
object StreamWC {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("StreamWC").setMaster("local[*]")
val ssc = new StreamingContext(conf, Seconds(5))
// 如果要使用updateStateByKey算子,就必须设置一个checkpoint目录,开启checkpoint机制。
// ssc.checkpoint("hdfs://hadoop001:9000/ck-20180211")
ssc.checkpoint("j://Dstream/ck-20180211")
val dStream = ssc.socketTextStream("192.168.119.51", 8888)
val tuples: DStream[(String, Int)] = dStream.flatMap(_.split(" ")).map((_, 1))
//按照批次累加需要调用updateStateByKey的方法
/*
参数1:状态更新函数
参数2:分区算法
参数3:是否在接下来的操作中产生的RDD调用相同的分区算法
参数4:初始的(K,V)对类型的RDD
*/
val res: DStream[(String, Int)] = tuples.updateStateByKey(func, new HashPartitioner(ssc.sparkContext.defaultParallelism), false)
res.print()
ssc.start()
ssc.awaitTermination()
}
/*
(Iterator[(K, Seq[V], Option[S])]) => Iterator[(K, S)]如何解读:
入参:三元组迭代器,三元组中K表示Key,Seq[V]表示一个时间间隔中产生的Key对应的Value集合(Seq类型,需要对这个集合定义累加函数逻辑进行累加),
Option[S]表示上个时间间隔的累加值(表示这个Key上个时间点的状态)
出参:二元组迭代器,二元组中K表示Key,S表示当前时间点执行结束后,得到的累加值(即最新状态)
*/
//
val func = (it: Iterator[(String, Seq[Int], Option[Int])]) => {
it.map(t => {
(t._1, t._2.sum + t._3.getOrElse(0))
})
}
}
运行程序,在netcatch中输入hello tom hello jerry
输出结果:
-------------------------------------------
Time: 1518332160000 ms
-------------------------------------------
(tom,1)
(hello,2)
(jerry,1)
过5秒钟再输入hello java hello java hello java
输出结果:
-------------------------------------------
Time: 1518332165000 ms
-------------------------------------------
(tom,1)
(hello,5)
(java,3)
(jerry,1)
这样就用sparkstreaming实现了数据的累加。