weixin_44389063的博客

flink on yarn 搭建完成之后提交官方jar包测试，在提交第一个任务的时候是OK的，但是在提交第二个任务的时候，任务一直处于accept状态。然后就开始查原因log日志是正常的，flink后端的日志也是正常的一开始百度查看各种文章zookeeper未正常启动flink-conf.yaml中的cluster_id配置未注释发现都不是这些问题，然后查看任务在yarn的状态yarn application -status $app_id这里问题就出现了，发现是队列的资源不足导致

Flink支持多种安装模式Local—本地单机模式，学习测试时使用Standalone—独立集群模式，Flink自带集群，开发测试环境使用StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本章将跳过local standaloneha等，如有需要请自行百度配置文件vim flink-1.14.4/conf/flink-conf.yaml#开启网页提交任务web.subm

自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）记录制作flink parcel环境（虚拟机，系统CentOS7.6）（1）jdk1.8（open）（2）maven3.8.1（3）parcel制作工具jdk、maven自行安装flink 相关下载注：可不需要提前下载flink下载地址：https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scal

CLOUDERA MANAGER手动安装FLINK、LIVY PARCEL出现哈希验证失败问题：最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败:一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例：FLINK-1.10.

Flink概述Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。DataStream API，对数据流进行流处理操作，将流式