flink入门单词统计

最新推荐文章于 2024-01-19 16:00:34 发布
最新推荐文章于 2024-01-19 16:00:34 发布
阅读量686 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwcj3/article/details/104177442
版权

pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>comccj.pxj.flink</groupId>
    <artifactId>longguoflink</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>1.6.2</flink.version>
        <java.version>1.8</java.version>
        <scala.binary.version>2.11</scala.binary.version>
        <maven.compiler.source>${java.version}</maven.compiler.source>
        <maven.compiler.target>${java.version}</maven.compiler.target>
    </properties>
    <repositories>
        <repository>
            <id>apache.snapshots</id>
            <name>Apache Development Snapshot Repository</name>
            <url>https://repository.apache.org/content/repositories/snapshots/</url>
            <releases>
                <enabled>false</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
    </repositories>
    <dependencies>
        <!-- Apache Flink dependencies -->
        <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.10 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.10_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.bahir/flink-connector-redis -->
        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hbase_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>protobuf-java</artifactId>
                    <groupId>com.google.protobuf</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--************************sql***************************-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-json -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-jdbc -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!--************************sql***************************-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.35</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.54</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.0</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>2.5.0</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.2</version>
        </dependency>
        <!--<dependency>
            <groupId>com.cloudwise.toushibao</groupId>
            <artifactId>simulatedata-generator</artifactId>
            <version>0.0.1</version>
        </dependency>-->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.7</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop2</artifactId>
            <version>${flink.version}</version>
            <!--<scope>provided</scope>-->
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <!-- Java Compiler -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                </configuration>
            </plugin>
            <!-- scala编译插件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.1.6</version>
                <configuration>
                    <scalaCompatVersion>2.11</scalaCompatVersion>
                    <scalaVersion>2.11.12</scalaVersion>
                    <encoding>UTF-8</encoding>
                </configuration>
                <executions>
                    <execution>
                        <id>compile-scala</id>
                        <phase>compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>test-compile-scala</id>
                        <phase>test-compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!-- We use the maven-shade plugin to create a fat jar that contains all necessary dependencies. -->
            <!-- Change the value of <mainClass>...</mainClass> if your program entry point changes. -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.0.0</version>
                <executions>
                    <!-- Run shade goal on package phase -->
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                                <excludes>
                                    <exclude>org.apache.flink:force-shading</exclude>
                                    <exclude>com.google.code.findbugs:jsr305</exclude>
                                    <exclude>org.slf4j:*</exclude>
                                    <exclude>log4j:*</exclude>
                                </excludes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <!-- Do not copy the signatures in the META-INF folder.
                                    Otherwise, this might cause SecurityExceptions when using the JAR. -->
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.dajiangtai.StreamingJob</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
        <pluginManagement>
            <plugins>
                <!-- This improves the out-of-the-box experience in Eclipse by resolving some warnings. -->
                <plugin>
                    <groupId>org.eclipse.m2e</groupId>
                    <artifactId>lifecycle-mapping</artifactId>
                    <version>1.0.0</version>
                    <configuration>
                        <lifecycleMappingMetadata>
                            <pluginExecutions>
                                <pluginExecution>
                                    <pluginExecutionFilter>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-shade-plugin</artifactId>
                                        <versionRange>[3.0.0,)</versionRange>
                                        <goals>
                                            <goal>shade</goal>
                                        </goals>
                                    </pluginExecutionFilter>
                                    <action>
                                        <ignore/>
                                    </action>
                                </pluginExecution>
                                <pluginExecution>
                                    <pluginExecutionFilter>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-compiler-plugin</artifactId>
                                        <versionRange>[3.1,)</versionRange>
                                        <goals>
                                            <goal>testCompile</goal>
                                            <goal>compile</goal>
                                        </goals>
                                    </pluginExecutionFilter>
                                    <action>
                                        <ignore/>
                                    </action>
                                </pluginExecution>
                            </pluginExecutions>
                        </lifecycleMappingMetadata>
                    </configuration>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
    <!-- This profile helps to make things run out of the box in IntelliJ -->
    <!-- Its adds Flink's core classes to the runtime class path. -->
    <!-- Otherwise they are missing in IntelliJ, because the dependency is 'provided' -->
    <profiles>
        <profile>
            <id>add-dependencies-for-IDEA</id>
            <activation>
                <property>
                    <name>idea.version</name>
                </property>
            </activation>
            <dependencies>
                <dependency>
                    <groupId>org.apache.flink</groupId>
                    <artifactId>flink-java</artifactId>
                    <version>${flink.version}</version>
                    <scope>compile</scope>
                </dependency>
                <dependency>
                    <groupId>org.apache.flink</groupId>
                    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
                    <version>${flink.version}</version>
                    <scope>compile</scope>
                </dependency>
            </dependencies>
        </profile>
    </profiles>
</project>

JAVA

package com.ccj.pxj.flink;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.functions.FlatMapIterator;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;
public class WordCount {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSource<String> text = env.fromElements(
                "who's there?",
                "I think I hear them. Stand, ho! Who's there?"
        );
        text.flatMap(new FlatMapFunction<String, Tuple2<String,Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                for (String word : s.split(" ")) {
                    collector.collect(new Tuple2<>(word,1));
                }
            }
        }).groupBy(0).sum(1).print();
    }
}

Scala

package com.ccj.pxj.flink

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}

object WordCount {
  def main(args: Array[String]): Unit = {
    var env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    import org.apache.flink.api.scala._
    val data: DataSet[String] = env.fromElements(
      "who's there?",
      "I think I hear them. Stand, ho! Who's there?")
    data.flatMap(_.split(" ")).groupBy(0).sum(1).print()
  }

}

作者：pxj(潘陈)
日期：2020-02-05 凌晨2：38:45

panxuej_shenx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink实现词频统计
luckGeek的博客
06-08 2923
概述：Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。本文主要介绍Flink下使用Java和Scala程序分别实现塞缪尔·厄尔曼《青春》的词频统计。 1、使用mvn命令创建Flink工程 (1) Java模板...
flink词频统计
qq_42612645的博客
10-09 902
1, cd /opt/flink/ flink的目录结构。bin目录下，有一些命令行。（.sh）。 2, cd /opt/flink/bin , start-cluster.sh 使用这个指令，jps之后能看到 standaloneSessionClusterEntrypoint。 3, webUI端口号localhost:8001。 4, /opt/fli...
Flink依赖整理
qq_46411309的博客
07-22 4639
一、依赖下载地址Maven Repository https://mvnrepository.com/ 二、Flink的项目依赖 2.1Flink 核心依赖 Flink 核心依赖项包含系统运行所需的类和依赖项，在启动Flink应用程序时必须存在， 不包含任何连接器或库，保证尽可能小，避免依赖项冲突。 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-core --> <dependency> <
Flink的项目依赖
feizuiku0116的博客
01-11 2092
一、Flink核心依赖和用户的应用程序依赖 一、Flink核心依赖 Flink本身包含系统运行所需的类和依赖项，如协调、网络、检查点、故障转移、操作、资源管理等。这些类和依赖项构成执行引擎的核心，并且在启动Flink应用程序时必须存在 <!-- Flink核心依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactI
flink on yarn指定第三方jar包
第一片心意的博客
01-03 1万+
flink on yarn加载第三方jar包。
Flink依赖
smile6868的博客
01-19 502
Apache Flink 是一个开源的流处理框架，用于进行高性能的、有状态的、容错的数据流处理。在 Flink 开发过程中，通常会涉及两类依赖：Flink 核心依赖和用户应用程序依赖。
Flink示例源码-Flink入门
12-16
"Flink示例源码-Flink入门"是一个旨在帮助初学者理解并掌握Flink核心概念和功能的资源包。在这个压缩包中，我们可能会找到一些精心设计的Flink示例代码，这些代码将有助于我们了解如何使用Flink进行数据处理。 首先...
flink框架入门介绍和示例程序
06-11
**Flink框架入门介绍** Apache Flink是一款开源的流处理和批处理框架，它在大数据领域...在实际操作中，你可以结合`Flink入门介绍.xmind`文件，它可能是一个思维导图，帮助你系统地理解和掌握Flink框架的各个部分。
Flink 快速入门
06-12
本课程基于某电商公司运营实时...2.搭建Flink Standalone分布式集群，编译打包WordCount上传至Flink集群运行，并统计打印出单词词频。（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **WordCount**：Flink的标准入门示例，统计文本流中的单词出现次数。 - **提交作业**：通过`bin/flink run`命令提交用户定义的Flink程序。 6. **监控与调试** - **Web UI**：Flink提供了一个Web界面，用于查看...
flink_2.11.tgz.zip
07-21
1. WordCount示例：作为Flink入门的经典例子，WordCount程序读取输入文本，统计每个单词出现的次数，展示了Flink的基本数据处理流程。 2. 时间窗口应用：在实时分析场景中，例如实时电商销售数据分析，可以通过时间...
【Flink 问题】Flink 如何提交轻量jar包 依赖该如何存放 会遇到哪些问题
T_Antry
07-21 3707
flink怎样部署，才能够提交jar时，只提交代码，而不用将依赖每次提交。依赖包该放在哪个位置？
Flink配置依赖
热门推荐
zhangshk_的博客
01-19 1万+
译自：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/projectsetup/dependencies.html   依赖管理、连接器、库 每个Flink应用程序都依赖于一组Flink库。至少，应用程序依赖于Flink API。许多应用程序还依赖于某些连接器库（如Kafka，Cassandra等）。运行Flin...
（三）Flink1.15 发布最新版本说明
京河小蚁的博客
05-18 6706
官网 https://nightlies.apache.org/flink/flink-docs-release-1.15/release-notes/flink-1.15 变化的依赖概况 在Flink 1.15中有几个变化，当从早期版本升级时，需要更新依赖项名称，主要包括从非Scala模块中选择排除Scala依赖项，以及重新组织表模块。 一个快速的依赖变化清单如下: 对以下模块的任何依赖都需要更新，以不再包含后缀: flink-cep flink-clients flink-connector-ela.
概览
weixin_41608066的博客
03-17 170
Table API & SQL Apache Flink具有两个关系API-Table API和SQL-用来统一流和批处理。Table API是用于Scala和Java语言的集成查询API，它以非常直观的方式组合来自关系运算符（如selection，filter和join）的查询。Flink对SQL的支持基于实现SQL标准的Apache Calcite。无论是批输入（DataSet）还是流...
（四）Flink初体验-1
京河小蚁的博客
05-19 1077
文章基于flink1.15，谨防走错房间 flink官网 first steps Flink旨在以闪电般的速度处理连续的数据流。这篇简短的指南将向您展示如何下载、安装和运行Flink的最新稳定版本。你还将运行一个Flink作业示例，并在web UI中查看它。 下载flink Flink运行在所有类unix环境中，例如Linux、Mac OS X和Cygwin(用于Windows)。您需要安装Java 11。要检查安装的Java版本，在你的终端输入: $ java -version 进入到下载页面dow.
Flink所使用到maven依赖
影子
03-12 5621
Flink本身包含系统运行所需的类和依赖项，如协调、网络、检查点、故障转移、操作、资源管理等 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.9.0</version> </dependency> java版本依赖： <d
ASP外观专利图像检索平台(源代码+论文).rar
最新发布
07-21
ASP外观专利图像检索平台(源代码+论文)
写一个Flink 单词统计程序
04-22
Flink 是一个开源的流式数据处理框架，你可以用它来开发单词统计程序。 这是一个简单的 Flink 程序的示例，它实现了对文本文件中单词出现次数的统计： ``` // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 从文件中读取数据，创建数据流 DataStream<String> text = env.readTextFile("file:///path/to/input"); // 对每一行文本进行分割，得到所有单词 DataStream<String> words = text.flatMap(new FlatMapFunction<String, String>() { @Override public void flatMap(String value, Collector<String> out) { for (String word : value.split("\\s")) { out.collect(word); } } }); // 对单词进行分组、统计 DataStream<Tuple2<String, Integer>> wordCounts = words .keyBy(0) .sum(1); // 将统计结果打印到控制台 wordCounts.print(); // 执行程序 env.execute("Word Count Example"); ``` 在上面的示例中，我们首先创建了一个执行环境，然后从文件中读取数据并创建数据流。然后，我们对每一行文本进行分割，得到所有单词。接着，我们对单词进行分组、统计，然后将统计结果打印到控制台。最后，我们执行程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值