Flink
文章平均质量分 73
阳光里哭泣的狗
把自己当成普通人,稍微有点成就,就是上天的眷顾
展开
-
flink学习(五)DataStream API
目录编程的模型Source基于集合的Source基于文件的Source编程的模型编程的主要是用以下三步来写data source获取数据的来源例如基于集合中,文件,socket,MySQLtransforations对获取到的数据进行相关的规则计算sink将处理好的数据输出或者保存Source基于集合的Sourceenv.fromElements():元素env.fromCollection():集合env.generateSequence():产生序原创 2021-07-04 12:08:07 · 1004 阅读 · 1 评论 -
flink学习(四)datasetAPI
目录创建maven项目创建maven项目傻瓜式一步步的搭建进行配置一下pom.xml原创 2021-05-27 21:24:12 · 2096 阅读 · 0 评论 -
flink学习(三)flink on yarn
目录为什么用on yarn模式两种模式Session模式搭建启动测试为什么用on yarn模式在集群运行时,可能会有很多的集群实例包括MapReduce、Spark、Flink等等,那么如果它们全基于on Yarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。两种模式内存集中管理模式(Session模式)这种方式需要先启动集群,然后在提交作业,接着向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资原创 2021-05-13 11:02:35 · 3086 阅读 · 0 评论 -
flink学习(二)HA搭建
目录原创 2021-05-06 21:06:58 · 2846 阅读 · 0 评论 -
flink学习(一)本地(local)模式和集群(standalone)模式
目录本地模式(local)搭建下载flink安装包上传至虚拟机并解压配置环境变量启动flink并测试集群(standalone)模式搭建配置flink-conf.yaml和workers文件flink-conf.yaml文件workers文件masters文件分发集群启动flink集群启动jps查看进程UI界面查看测试集群本地模式(local)搭建下载flink安装包https://downloads.apache.org/flink/flink-1.12.2/flink-1.12.2-bin-s.原创 2021-04-24 17:06:37 · 5339 阅读 · 3 评论