糊里糊涂走进大数据的小菜鸡

文章目录DataStream常用算子1、Map2、FlatMap3、Filter4、KeyBy5、Reduce6、Aggregations7、Window8、WindowAll9、Union10、Window Join11、Split12、Select DataStream常用算子 在 Flink 应用程序中，无论你的应用程序是批程序，还是流程序，都是上图这种模型，有数据源（source），有数据下游（sink），我们写的应用程序多是对数据源过来的数据做一系列操作，总结如下。 Source: 数据源，

Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）。

一、kafka安装与配置 1、上传压缩包到任意节点 2、解压，配置环境变量 所有节点都配置 3、修改配置文件 vim /usr/local/soft/kafka_2.11-1.0.0/config/server.properties 1、broker.id=0，每一个节点broker.id 要不一样 2、zookeeper.connect=master:2181,node1:2181,node2:2181 3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data

local 本地测试 idea运行 flink集群测试 1、standallone cluster 1、准备工作 配置JAVA_HOME 免密钥 2、上传解压 tar -xvf flink-1.11.0-bin-scala_2.11.tgz 配置环境变量 vim /etc/profile 3、修改配置文件(如果是伪分布式，就不需要修改配置文件) vim conf/flink-conf.yaml jobmanager.rpc.address: master 主节点ip地址 vim