UserTransmitApp

最新推荐文章于 2024-09-16 14:49:45 发布
最新推荐文章于 2024-09-16 14:49:45 发布
阅读量126 收藏
点赞数
分类专栏： Flink1.11.2 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31316733/article/details/114297641
版权

UserTransmitApp

kafka_input

在这里插入图片描述

es_output
在这里插入图片描述

UserTransmitApp

package com.flink.app;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.flink.bean.UserTransmit;
import com.flink.sink.ToES;
import com.kafka.kafka_api.KafkaUtils;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.typeinfo.TypeHint;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import java.text.SimpleDateFormat;
import java.time.Duration;
import java.util.Date;
//计算每天用户转发量
public class UserTransmitApp {
    public static void main(String[] args) {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        env.setParallelism(3);
        SingleOutputStreamOperator userDS = env.addSource(KafkaUtils.getFlinkKafkaConsumer("user_message"))
                .map(new MapFunction<String, UserTransmit>() {
                    @Override
                    public UserTransmit map(String s) throws Exception {
                        System.out.println(s);
                        JSONObject jsonObject = JSON.parseObject(s);
                        return new UserTransmit(jsonObject.getString("username")
                                ,jsonObject.getLongValue("transmit_time"));
                    }
                });
//filter
        SingleOutputStreamOperator user_water_ds = userDS.assignTimestampsAndWatermarks(
                WatermarkStrategy.
                        <UserTransmit>forBoundedOutOfOrderness(Duration.ofSeconds(10))
                        .withTimestampAssigner((data, ts) -> data.getTransmit_time() * 1000L)
        );
        SingleOutputStreamOperator tuple_user_ds = user_water_ds.map(new MapFunction<UserTransmit, Tuple2<String, Long>>() {

            @Override
            public Tuple2<String, Long> map(UserTransmit userTransmit) throws Exception {

                String username = userTransmit.getUsername();
                return Tuple2.of(username, 1L);
            }
        });
        SingleOutputStreamOperator<JSONObject> result = tuple_user_ds
                .keyBy(new KeySelector<Tuple2<String, Long>, String>() {
                    @Override
                    public String getKey(Tuple2<String, Long> o) throws Exception {
                        return o.f0;
                    }
                })
                //.sum(1)
                .window(TumblingEventTimeWindows.of(Time.days(1), Time.hours(-8)))
                .sum(1)
                .map(new MapFunction<Tuple2, JSONObject>() {

                    @Override
                    public JSONObject map(Tuple2 in) throws Exception {
                        SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
                        String dateTime = df.format(new Date());
                        JSONObject jO = new JSONObject();
                        jO.put("username", in.f0);
                        jO.put("dayCountTransmit", in.f1);
                        jO.put("day", dateTime);
                        System.out.println(new Date());
                        return jO;
                    }
                })
                .returns(TypeInformation.of(new TypeHint<JSONObject>() {
        }
        ));
        result.print("用户转发次数: ");
        result.addSink(ToES.getESSink().build());
        //resultDS.addSink(new HdfsUtils<User>().getTBucketingSink("hdfs://192.168.1.162:8020/UserData/"));
        try {
            env.execute();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

ToES

package com.flink.sink;
import com.alibaba.fastjson.JSONObject;
import com.flink.bean.WaterSensor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.RuntimeContext;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkFunction;
import org.apache.flink.streaming.connectors.elasticsearch.RequestIndexer;
import org.apache.flink.streaming.connectors.elasticsearch6.ElasticsearchSink;
import org.apache.http.HttpHost;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.client.Requests;
import java.util.*;
public class ToES {
    public static ElasticsearchSink.Builder<JSONObject> getESSink() {
        List<HttpHost> httpHosts = new ArrayList<>();
        httpHosts.add(new HttpHost("192.168.1.162", 9200));
        httpHosts.add(new HttpHost("192.168.1.163", 9200));
        httpHosts.add(new HttpHost("192.168.1.164", 9200));
        // Builder第二个参数
        MyElasticSearchSinkSFunction myElasticSearchSinkSFunction = new MyElasticSearchSinkSFunction();

        ElasticsearchSink.Builder<JSONObject> esBuilder = new ElasticsearchSink.Builder<>(httpHosts, myElasticSearchSinkSFunction);

        // 设置bulk的容量，1条就刷写
        // TODO 生产环境不要设置为 1，影响性能，这里只是为了 快速的看到 无界流 写入 ES 的结果
        esBuilder.setBulkFlushMaxActions(1);

        return esBuilder;
    }
    public static class MyElasticSearchSinkSFunction implements ElasticsearchSinkFunction<JSONObject> {
        @Override
        public void process(JSONObject element, RuntimeContext ctx, RequestIndexer indexer) {
            Map<String, String> sourceMap = new HashMap<String, String>();
            //sourceMap.put("data", element.toString());
//            SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
//            String dateTime = df.format(new Date());
            sourceMap.put("username", element.getString("username"));
            sourceMap.put("dayCountTransmit", element.getString("dayCountTransmit"));
            sourceMap.put("day", element.getString("day"));
            // 创建一个Request
            IndexRequest indexRequest = Requests.indexRequest("user_message").type("read11").source(sourceMap);
            // 放入 indexer
            indexer.add(indexRequest);
        }
    }
    public static void main(String[] args) {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        ArrayList<HttpHost> httpHosts = new ArrayList<>();
        httpHosts.add(new HttpHost("hadoop162", 9200));
        httpHosts.add(new HttpHost("hadoop163", 9200));
        httpHosts.add(new HttpHost("hadoop164", 9200));
        DataStreamSource<String> ds = env.readTextFile("D:\\code\\flink111\\src\\main\\resources\\input\\water_sensor.txt");
        SingleOutputStreamOperator<WaterSensor> dsWS = ds.map(new MapFunction<String, WaterSensor>() {
            @Override
            public WaterSensor map(String in) throws Exception {
                String[] line = in.split(",");
                return new WaterSensor(line[0], Long.valueOf(line[1]), Integer.valueOf(line[2]));
            }
        });
        ElasticsearchSink<String> esSink = new ElasticsearchSink.Builder<String>(
                httpHosts,
                new ElasticsearchSinkFunction<String>() {
                    @Override
                    public void process(String element, RuntimeContext ctx, RequestIndexer indexer) {
                        //将数据放入Map
                        HashMap<String, String> dataMap = new HashMap<>();
                        dataMap.put("data", element);
                        //指定索引,类型,source
                        IndexRequest indexRequest = Requests.indexRequest("water_sensor").type("reading").source(dataMap);
                        indexer.add(indexRequest);
                    }
                }
        ).build();
        ds.addSink(esSink);
        try {
            env.execute();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

UserTransmit

package com.flink.bean;
public class UserTransmit {
    private String username;
    private long transmit_time;
    @Override
    public String toString() {
        return "User{" +
                "username='" + username + '\'' +
                ", transmit_time='" + transmit_time + '\'' +
                '}';
    }

    public UserTransmit() {
    }

    public UserTransmit(String username, long transmit_time) {
        this.username = username;
        this.transmit_time = transmit_time;
    }

    public String getUsername() {
        return username;
    }

    public void setUsername(String username) {
        this.username = username;
    }

    public long getTransmit_time() {
        return transmit_time;
    }

    public void setTransmit_time(long transmit_time) {
        this.transmit_time = transmit_time;
    }
}

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.flink</groupId>
    <artifactId>flink1.11</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>1.11.2</flink.version>
        <java.version>1.8</java.version>
        <scala.binary.version>2.11</scala.binary.version>
        <maven.compiler.source>${java.version}</maven.compiler.source>
        <maven.compiler.target>${java.version}</maven.compiler.target>
        <log4j.version>2.12.1</log4j.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/log4j/log4j -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-2-uber -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop-2-uber</artifactId>
            <version>2.7.5-7.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.postgresql/postgresql -->
        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.11</artifactId>
            <version>${flink.version}</version>
            <!--            <classifier>sources</classifier>-->
            <!--            <type>java-source</type>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.bahir/flink-connector-redis -->
        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_${scala.binary.version}</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch6_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.postgresql/postgresql -->
        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-filesystem_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.4</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
稻草人的肩膀
关注
专栏目录
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 1033
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
大数据-131 - Flink CEP 案例：检测交易活跃用户、超时未交付
永远好奇，无限进步！
09-12 1532
通过Flink CEP，开发者可以从流数据中识别出特定的事件模式。将模式应用到流中：将定义好的模式应用到事件流上，生成模式流PatternStream。定义事件模式：使用Flink CEP的API定义事件模式，例如连续事件、迟到事件等。提取匹配事件：使用select函数提取匹配模式的事件，并定义如何处理这些事件。Flink CEP的核心是通过定义事件模式，从流中检测复杂事件序列。定义事件流：创建一个DataStream，表示原始的事件流。业务上需要找出24小时内，至少5次有效交易的用户。
Apache Doris Flink Connector 24.0.0 版本正式发布
SelectDB
09-11 608
亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2421
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
Flink学习2
qq_41519442的博客
09-16 271
可以看到对应的job任务，这个时候选中view taskmanage log。创建好项目后，开始进行打包，打包完后。将jar包上传上WEBUI后。就可以查看到输出的结果了。
flink的窗口
smile6868的博客
09-12 672
滚动窗口和滑动窗口适用于需要按时间间隔进行数据统计和分析的场景，而会话窗口则更适用于用户行为分析等动态数据窗口的场景。Flink的窗口是处理无界流数据的一种重要机制，它将无限的流数据切割成有限的、可管理的部分，以便进行聚合、计算和分析。全局窗口在流处理中是一个特殊的情况，窗口大小和滑动步长都是无穷大。定义：窗口是Flink在处理流数据时用于划分数据流的逻辑概念，它将无限的流数据切割成有限的、可管理的部分。特点：适用于用户行为分析等场景，窗口的长度和位置是动态的，取决于数据元素到达的时间模式。
flink实战--如何基于java-agent技术增强Flink功能
阿华田的博客
09-13 219
一个Flink程序的运行，会依赖到一个或多个Connector（连接器），而这些连接器分为Source（主要用于读）和Sink（主要用于写），那么如果要监听到Flink作业流动的数据，我们这里可以简单尝试去查看支持Sink的Connector(例如：flink-connector-jdbc)，看看 是否有实现一个公共的接口，然后对这个接口做监听，即可“读取”写入前的数据?接下来可以开始编写一个Agent类了，这里直接上代码。
flink的大状态复用
goTsHgo的博客
09-11 1276
Savepoints和外部化检查点：适合作业重启、升级或迁移时的状态复用。RocksDB 后端与外部存储：适合大状态持久化和复用，通过外部存储系统实现跨作业的状态共享。全局状态共享：通过外部数据库或存储系统在多个作业之间共享状态。自定义状态管理服务：用于复杂场景的跨作业或系统的状态复用。缓存机制：对于高频查询的状态，可以引入缓存以减少重复加载的开销。选择合适的状态复用策略取决于业务场景、状态的大小和复杂性，以及状态访问的频率和一致性要求。
大数据Flink（一百一十六）：Flink SQL的时间属性
Lansonli（蓝深李）的博客
09-10 1864
以事件时间举个例子，如果只是数据携带了时间，Flink 也消费了这个数据，但是在 Flink 中没有使用数据的这个时间作为计算的触发条件，也不能把这个 Flink 任务叫做事件时间的任务。：举个例子，比如用户可以自定义每隔 10s 的本地时间，或者消费到的数据的时间戳每增大 10s，就把计算结果输出一次，时间在此类应用中也是一种标识任务进度的作用。事件时间：指的是数据本身携带的时间，这个时间是在事件产生时的时间，而且在 Flink SQL 触发计算时，也使用数据本身携带的时间。它是时间的最简单概念。
各种函数声明和定义模块
最新发布
09-16
各种函数声明和定义模块
湖北工业大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
1805.06605v2 DEFENSE-GAN.pdf
09-16
1805.06605v2 DEFENSE-GAN.pdf
【语音去噪】FIR和IIR低通+带通+高通语音信号滤波（含时域频域分析）【含Matlab源码 4943期】.mp4
09-16
Matlab领域上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描视频QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 语音处理系列程序定制或科研合作方向：语音隐藏、语音压缩、语音识别、语音去噪、语音评价、语音加密、语音合成、语音分析、语音分离、语音处理、语音编码、音乐检索、特征提取、声源定位、情感识别、语音采集播放变速等；
java-ssm+jsp幼儿园管理系统实现源码(项目源码-说明文档)
09-16
管理员成功登录后台管理界面，选择“教师管理”，出现教师列表。在教师管理页面，管理员可以添加、修改、查询及删除教师信息。 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：ssm 前端技术：jsp 关键技术：jsp、spring、ssm、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
hadoop_3_2_0-yarn-resourcemanager-3.3.4-1.el7.x86_64.rpm
09-16
Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env
DelphiWebMVC-master.zip
09-16
delphi在web系统开发上没有像java或php 这样方便，对于一直使用delphi的工程师来说是个遗憾，因此使用delphi技术开发了一套Web框架，使用MVC模式，让工程师只需把精力放在模型与视图的设计上，让delphi开发web系统更方便。
东北农业大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
python第二次作业
09-16
python第二次作业
hadoop_3_2_0-mapreduce-historyserver-3.3.4-1.el7.x86_64.rpm
09-16
Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值