1. 背景:之前已经学习过Spark SQL的相关知识,现在开始对Spark的另一模块Streaming部分进行学习。首先是参考官网上的Demo进行样例的编写,但是发现代码有点问题,百度之后发现,在一处代码处发现问题,所以写此文。
2. 介绍:一些博客上的
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是Scala,由于SAM装换,可以写成val words = lines.flatMap{line => line.split(" ")}
@Override
public Iterable<String> call(String line) throws Exception {
return Arrays.asList(line.split(" "));//将其变成Iterable的子类
}
});
或者官网上
// Split each line into words
JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());
对于此处,都是有问题的,应该是
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
public Iterator<String> call(String line) throws Exception {
String aStr[] = line.split(",");
return Arrays.asList(aStr).iterator();
}
});
此处值得注意,需要了解一下Interator,通过http://www.cnblogs.com/chenssy/p/3821328.html 认识到list可以转化。
Iterator iterator = list.iterator(); while(iterator.hasNext()){ String string = iterator.next(); //do something }
$ nc -lk 9999
同时,输入例如“Hello,world”,即可实现streaming的简单样例