![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
风乎舞雩咏而归
杭州大厂搬砖ing
展开
-
Flink Standalone 集群搭建准备: 主机改名 修改hosts文件 master免密登录work节点
背景Apache Flink 零基础入门(三):开发环境搭建和应用的配置、部署及运行为了实现多机部署Flink Standalone集群,需要配置conf/masters,conf/works,conf/flink-conf.yaml文件,如图。以masters文件为例,vim conf/works,希望得到下图这种:用主机名代表各个虚拟机镜像而不是用ip地址表示,用IP地址的话,不但麻烦,可读性还差。./bin/start-cluster.sh启动flink集群时,由于jobmanager部原创 2020-11-26 22:24:52 · 775 阅读 · 0 评论 -
(8) 基于Flink的互联网直播平台日志分析项目实战
基于Flink的互联网直播平台日志分析项目功能需求接入的数据类型就是日志离线:Flume ==> HDFS实时:Kafka ==> 流处理引擎 ==> ES ==> Kibana项目功能统计一分钟内每个域名访问产生的流量Flink接收Kafka的进行处理统计一分钟内每个用户产生的流量域名和用户是有对应关系的Flink接收Kafka的进行 + Flink读取域名和用户的配置数据进行处理数据源Mock 产生: 务必要掌握的数据敏感原创 2020-10-05 10:56:17 · 411 阅读 · 1 评论 -
(7) Flink connector( zookeeper, kafka)
kafka connector部署zookeeper部署下载链接https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz安装包的目录和解压的目录是 /usr/local配置系统环境变量 vim ~/.bash_profile关于系统环境变量的文件在哪改,可以参考 /etc/profile和~/.bash_profile的区别与联系配置zoo原创 2020-10-05 10:41:47 · 502 阅读 · 0 评论 -
(6) Flink Table API&SQL
IntroductionDataSet&DataStream API需要熟悉两套API:DataSet/DataStreamMapReduce ==> Hive SQLSpark ==> Spark SQLFlink ==> SQLFlink是支持流处理/批处理,如何做到API层面的统一==> Table & SQL API 关系型APIEverybody knows SQL.实践引入相关依赖https://ci.apach原创 2020-10-05 10:33:47 · 88 阅读 · 0 评论 -
(5) DataStream API编程
Source从官网的表述中,可以明白:Flink处理可以从预定义的一些source function中读取,也可以定制自己的source通过StreamExecutionEnvironment.addSource(sourceFunction) 可以将source添加到程序中,addSource(sourceFunction) 的源代码如下:/** * Adds a Data Source to the streaming topology. * * <p>By defau原创 2020-10-05 10:31:56 · 194 阅读 · 0 评论 -
(4) DataSet API编程
Data Sources参考链接:Data sources从集合创建dataset从文件或文件夹创建文件从csv文件创建dataset从递归文件夹创建dataset创建dataset从压缩文件创建dataset原创 2020-10-05 10:27:56 · 319 阅读 · 0 评论 -
(3) Flink核心概念和编程模型
大数据处理的流程MapReduce: input -> map(reduce) -> outputStorm: input -> Spout/Bolt -> outputSpark: input -> transformation/action -> outputFlink: input -> transformation/sink -> outputDataSet and DataStreamimmutable批处理:DataSet流处理:D原创 2020-10-05 10:24:52 · 95 阅读 · 0 评论 -
(2) 快速上手第一个Flink应用程序--Java
环境配置JavaMaven更改conf目录下的setting.xml文件中的依赖存储位置IDEA前置条件: Maven 3.0.4(or higher) and Java 8.xFlink开发批处理应用程序需求词频统计(word count)一个文件,统计文件中每个单词出现的次数分隔符是\t统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)用Java实现最新的文档是v.11版本,页面布局已经发生很大变化了。视频中是v1.7,链接为http原创 2020-10-05 10:21:55 · 171 阅读 · 1 评论 -
(1) 初识Flink
Flink是什么Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any原创 2020-10-05 10:16:56 · 127 阅读 · 0 评论 -
win10 flink流处理 nc命令 监听端口
win10 netcat使用nc -l -p + 监听指定端口号win10 查看端口占用1、win+R打开cmd窗口2、netstat -ano列出所有端口的情况,找到被占用的端口3、输入命令netstat -aon|findstr "8080" 找对应的PID4、输入命令tasklist|findstr "21548" 查找具体的占用进程5、打开资源管理器,找到PID是21548的进程(没有PID这一列的话可以右击列添加PID列)6、如果想结束进原创 2020-09-14 10:08:03 · 1824 阅读 · 1 评论