qq_22611181的专栏

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考2021-08-19，flink:kafka——>mysql2、flink聚合操作原理介绍，参考2021-08-25，flink窗口函数原理深入滑动窗口：不同于滚动窗口，滑动窗口的窗口可以重叠滑动窗口有两个参数：slide和size。slide.

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考https://blog.csdn.net/qq_22611181/article/details/1199002502、flink聚合操作原理介绍，参考https://blog.csdn.net/qq_22611181/article/details/1199.

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇Flink SQL支持四种窗口函数，分别是Window聚合：滚动窗口（TUMBLE）、滑动窗口（HOP）、会话窗口（SESSION），OVER聚合：OVER窗口。说到是时间窗口操作，那么涉及到Flink SQL可以基于两种时间属性对数据进行窗口聚合。Event Time:事件时间（数据最原始的创建时间），在给定的数据源中的Schema中，比如我的客流数据一个字段是客流发生时间，那么事件时间就是客流发生该字段。.

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：实时数据——>kafka——>flink——>mysql1、 实时数据：参考链接，该链接是如何用python写kafka生产者程序2、flink：这里我们直接在本地开发环境Pycharm跑的程序，就不需要安装flink了，感兴趣Linux镜像安装部署flink的可以参考该链接。3、模拟数据为客流数据：客流数据格式为json，其关键key有车站id，车站名，发生时间，设备id.

创建topic实例（zk或者bootstrap，注意bootstrap只能在kafka2.2及以上版本才能用，可以用./kafka-topics.sh --help看是否有该参数）zk方式：./kafka-topics.sh --zookeeper tdh09:2181,tdh10:2181,tdh11:2181 --create --topic passenger-flow2 --partitions 1 --replication-factor 2 --config message.timest

1、下载flink安装包https://mirrors.cloud.tencent.com/apache/flink/flink-1.13.2/2、解压进入容器中，新建文件夹专门放flinkmkdir /usr/local/flinkcd /usr/local/flinktar -zxvf flink-1.13.2-bin-scala_2.12.tgz3、启动命令./usr/local/flink/flink-1.13.2/bin/start-cluster.sh.

创建topic时不用全部指定，但是了解能帮助后面对应场景创建合适的topic创建topic实例：./kafka-topics.sh --zookeeper 10.28.3.47:2181,10.28.3.48:2181,10.28.3.50:2181 --create --topic passenger-flow --partitions 1 --replication-factor 2 --config message.timestamp.type=LogAppendTimetopic

1、什么是HadoopHadoop是一种分析和处理大数据的软件平台（包括分布式存储和计算）。Hadoop包括三个核心组成部分，分别是Hbase、MapReduce、HDFS。Hbase：一种分布式数据存储系统，用来处理海量数据的非关系型数据库。MapReduce：MapReduce编程模型，用于大规模数据集（大于1TB）的并行分析计算。HDFS：分布式文件存储系统，用于存储海量数据的专用文件系统。1.1、HDFS架构HDFS采用master/slave架构。一个HDFS集群是

1、什么是KafkaKafka是一个分布式流处理平台，有以下三种特性：1）可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。2）可以储存流式的记录，并且有较好的容错性。3）可以在流式记录产生时就进行处理。它可以用于两大类别的应用:构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message queue)构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是流处理，通过kafka stream topic和topic之间内部进行变化)

1、什么是Zookeeper2、Zookeeper安装步骤2.1、环境准备2.2、配置hosts文件2.3、创建对应的目录和文件2.3.1、修改配置文件2.4、启动和测试Zookeeper集群2.5、问题记录

大数据平台很多组件都是由java程序编写的，所以为了让这些编译好的程序能在你的机器上运行，你得安装JDK（java development kit，java开发者工具）。1、什么是JDKJDK是Java开发者工具包，其中包含了JRE（Java Runtime Enviroment，Java运行环境），一堆Java工具（javav/java/jdb等）和Java基础的类库。其对应关系如下所示。图1、JDK，JRE，JVM关系 ...

在集群中，我们一般所做的设定是集群的服务器之间互相免密登陆通信，不能连接外网或者说由指定的外部服务器连接集群，作为集群与外部交互的桥梁。1.Linux的ssh免密登陆原理1.1什么是sshssh为Secure Shell（安全外壳协议），为建立在应用层基础上的安全协议。ssh最初是UNIX系统上的一个程序，用来远程登陆其他机器，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、

1.下载VMVare链接：https://my.vmware.com/cn/web/vmware/downloads/details?downloadGroup=WKST-1600-WIN&productId=1038&rPId=51982下载后有体验版30天，也有输入产品序列号的，我们当然鼓励大家支持正版，视大家情况而定。下载后直接点击安装，如果有多个盘，最好装在非C盘，一步步点击下去就行。2.下载Centos7链接：http://mirrors.aliyun.com/