一位搬砖工-CSDN博客

原创 flink 提交多个任务一直处于accept状态

flink on yarn 搭建完成之后提交官方jar包测试，在提交第一个任务的时候是OK的，但是在提交第二个任务的时候，任务一直处于accept状态。然后就开始查原因log日志是正常的，flink后端的日志也是正常的一开始百度查看各种文章zookeeper未正常启动flink-conf.yaml中的cluster_id配置未注释发现都不是这些问题，然后查看任务在yarn的状态yarn application -status $app_id这里问题就出现了，发现是队列的资源不足导致

2022-03-24 10:27:14 3026

原创 Apache Flink 1.14.4 on yarn ha环境搭建

Flink支持多种安装模式Local—本地单机模式，学习测试时使用Standalone—独立集群模式，Flink自带集群，开发测试环境使用StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本章将跳过local standaloneha等，如有需要请自行百度配置文件vim flink-1.14.4/conf/flink-conf.yaml#开启网页提交任务web.subm

2022-03-22 10:56:54 3153 1

原创 MySQL自增为2的解决

查看配置show variables like '%increment%';如果：auto_increment_increment=2执行：set @@global.auto_increment_increment = 1;set @@auto_increment_increment =1;如果：auto_increment_offset=2执行：set @@global.auto_increment_offset =1;set @@auto_increment_offset

2022-01-21 10:18:36 1208

原创 Java流式读取MySQL数据

优化日常工作目前工作会出现一个常见的需求，就是把源表的数据读出来经过处理然后写入对应的表其流程就是读取=>处理=>写入但是现在出现的一种情况是源表的数据量过大，经常会出现读数据的时候卡死或者出现oom的问题，所以特地学习了一下关于不使用实时框架去流式读取MySQL，这里推荐阿里开发的一套比较好用的框架druid废话不多说，开干！！ <dependency> <groupId>com.alibaba</groupId&

2021-11-15 16:00:41 2806

原创自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）

自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）记录制作flink parcel环境（虚拟机，系统CentOS7.6）（1）jdk1.8（open）（2）maven3.8.1（3）parcel制作工具jdk、maven自行安装flink 相关下载注：可不需要提前下载flink下载地址：https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scal

2021-08-10 21:08:35 1446 3

原创 CLOUDERA MANAGER手动安装FLINK、LIVY PARCEL出现哈希验证失败

CLOUDERA MANAGER手动安装FLINK、LIVY PARCEL出现哈希验证失败问题：最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败:一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例：FLINK-1.10.

2021-08-10 15:04:55 298

原创 git clone error: RPC failed； result=35, HTTP code = 0 fatal: The remote end hung up unexpectedly

git clone error: RPC failed; result=35, HTTP code = 0 fatal: The remote end hung up unexpectedly报错如下：1 [15:08:30 root@localhost src]#git clone https://github.com/openresty/echo-nginx-module.git2 Cloning into 'echo-nginx-module'...3 error: RPC failed; r

2021-08-10 14:44:08 221

原创使用wget下载的时候出现Unable to establish SSL connection问题

使用wget下载的时候出现Unable to establish SSL connection问题解决办法加上跳过验证证书的参数 “--no-check-certificate”成功！！！

2021-08-10 14:28:08 187

原创 Java深入理解static

关键字 static1. 概述2. static修饰成员变量2.1 常见的修饰符2.2 内存图分析讲解static修饰成员变量2.3 static修饰的成员变量的特点2.4 简单的代码解释并说明如何使用3. static修饰成员方法3.1 为什么使用static去修饰成员方法3.2 static修饰的成员方法的特点3.3 简单的代码解释并说明如何使用4. static修饰代码块4.1 概述静态代码块4.2 代码解释5. 总结static关键字1. 概述static 是一种修饰符static 是Jav

2020-08-04 10:08:17 238

转载概谈Flink基础理论

Flink概述Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。DataStream API，对数据流进行流处理操作，将流式

2020-07-20 13:03:08 453

weixin_44389063的博客