二话不说,直接上代码
这个案例是一个无限流,执行环境默认的并行度是:4,SocketSink的并行度:1
package cn._51doit.flink.day01;
import org.apache.flink.api.common.functions.RuntimeContext;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
/**
* Sink-writeAsText的使用
* WriterSink:在flink1.2的Sink已经过时了 【源码@Deprecated:标记为过时了】
*
* 控制台打印输出:
*执行环境默认的并行度是:4
* SocketSink的并行度:1
*
* 效果:
* 1、在E:\englin文件目录下生成out文件
* 2、然后根据在nc -lk 9999 的本地节点输入的参数后,将会生成对应的文件信息
* 3、生成是文件信息根据并行度来命名的,由于并行度为4,所以当你在nc -lk 9999命令输入数据,会按照生成的数据去往命名并行度文件去写数据的
* 先前会写入4个并行度文件追加,到输入第5个就往回第一个文件写数据【第2行写】
*
*
*
*/
public class WriterSinkDemo {
public static void main(String[] args) throws Exception {
//local模式默认的并行度是当前节点逻辑核的数量
Configuration configuration = new Configuration();
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration);
//DataStream的并行度
int parallelism01 = env.getParallelism();
System.out.println("执行环境默认的并行度是:"+parallelism01);
DataStreamSource<String> lines = env.socketTextStream("192.168.242.102", 8888);
//获取DataStream的并行度
int parallelism = lines.getParallelism();
System.out.println("SocketSink的并行度:"+parallelism);
/**
* 在E:\englin文件目录下生成out文件
* 然后根据在nc -lk 9999 的本地节点输入的参数后,将会生成对应的文件信息
*/
lines.writeAsText("E:\\englin\\out");
env.execute();
}
//定义内部类
public static class MyPrintSink extends RichSinkFunction<String > {
private int indexOfThisSubtask;
//最终把数据输出的方法(如:mysql、jdbc)
@Override
public void invoke(String value, Context context) throws Exception {
//:拿到索引编号[从0开始]
RuntimeContext runtimeContext = getRuntimeContext();
int indexOfThisSubtask = runtimeContext.getIndexOfThisSubtask();
System.out.println(indexOfThisSubtask+"> "+value);
}
}
}
在E:\englin文件目录下生成out文件,然后根据在nc -lk 9999 的本地节点输入的参数后,将会生成对应的文件信息,生成是文件信息根据并行度来命名的,由于并行度为4,所以当你在nc -lk 9999命令输入数据,会按照生成的数据去往命名并行度文件去写数据的 先前会写入4个并行度文件追加,到输入第5个就往回第一个文件写数据【第2行写】