Flink快速使用

这篇博客介绍了Flink的快速使用,包括DataSet、DataStream和SQL的WordCount示例,详细讲解了故障恢复的策略,如FULL和Region策略,并讨论了并行度的概念。
摘要由CSDN通过智能技术生成

1.快速使用demo

1. DataSet WordCount demo (JAVA)

    public static void main(String[] args) throws Exception {
   
      // 创建Flink运行的上下文环境
      final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
      // 创建DataSet,这里我们的输入是一行一行的文本
      DataSet<String> text = env.fromElements(
            "Flink Spark Storm",
            "Flink Flink Flink",
            "Spark Spark Spark",
            "Storm Storm Storm"
      );
      // 通过Flink内置的转换函数进行计算
      DataSet<Tuple2<String, Integer>> counts =
            text.flatMap(new LineSplitter())
                  .groupBy(0)
                  .sum(1);
      //结果打印
      counts.printToErr();
   }
   public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
   
      @Override
      public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
   
         // 将文本分割
         String[] tokens = value.toLowerCase().split("\\W+");
         for (String token : tokens) {
   
            if (token.length
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值