前言
之前学习了spark,现在正在学习flink,感觉很类似,记录下flink的学习过程,请大家参考。
一、wordCount
1、有界wordCount
代码如下(示例):
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;
public class WordCount {
public static void main(String[] args) throws Exception{
// 创建执行环境
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
// 从文件中读取数据
String inputPath = "E:\\webapps\\test\\flink-demo\\data\\1.txt";
//这里和spark很相似了
DataSet<String> inputDataSet = env.readTextFile (inputPath);
// 对数据集进行处理,按空格分词展开,转换成(word, 1)二元组进行统计
DataSet<Tuple2<String, Integer>> resultSet = inputDataSet.flatMap(new MyFlatMapper())
.groupBy(0) // 按照第一个位置的word分组
.sum(1); // 将第二个位置上的数据求和
resultSet.print();
}
// 自定义类,实现FlatMapFunction接口
public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>>
{
public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
// 按空格分词
String[] words = value.split(" ");
// 遍历所有word,包成二元组输出
for (String word : words) {
out.collect(new Tuple2<String,Integer>(word, 1));
}
}
}
}
2、无界wordCount
代码如下(示例):
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
public class WordCount2
{
public static void main(String[] args) throws Exception{
// 创建流处理执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
String host = "localhost";
int port = 7777;
// 从socket文本流读取数据
DataStream<String> inputDataStream = env.socketTextStream(host, port);
//处理无界数据的时候,没有groupBy方法,groupBy可以理解为当数据全加载完成之后进行分组
// 无界是没有办法加载全部数据,因此替换为keyBy方法
DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyFlatMapper())
.keyBy (0).sum (1);
resultStream.print();
// 执行任务
env.execute();
}
}
无界启动时,使用nc工具进行测试,通过nc工具进行socket信息传输。
启动指令nc -l -p 7777
或者 nc -lk 7777
,可能由于nc版本不同或者执行环境不同,命令可能
如果出现local listen fuxored: INVAL
异常,使用nc -l -p 7777
即可。
3、pom.xml
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.10.1</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.12</artifactId>
<version>1.10.1</version>
<scope>provided</scope>
</dependency>
</dependencies>