vhicool-CSDN博客

并行度并行数据流Flink程序本质上是并行和分布式的。在程序执行期间，一个流会生成一个或者多个stream partition，并且一个operator会生成一个或者多个operator subtask。operator的 subtask 彼此之间是独立的，分别在不同的线程里去执行并且可能分布在不同的机器上或者containers上。 operator的subtasks的数量等于该操作算子的并行度的数量。流的并行度有总是取决于产生它的操作算子的并行度决定的。同一个flink程序中的不同的operator

2021-11-30 09:58:16 1926

原创 docker 批量删除镜像

查询镜像> docker images批量删除满足条件的镜像查询满足条件的镜像，并输出镜像iddocker images |grep '<none>'|awk '{ print $3 }'删除版本为<none>的镜像-f 强制删除docker rmi -f $(docker images |grep '<none>'|awk '{ print $3 }')...

2021-11-25 10:57:53 774

原创 http 工具类，查询、文件上传、下载

文章目录使用方式源码依赖：HttpClientConnection连接池类GET请求实现类POST 请求实现类PUT请求实现类创建请求工厂类使用方式GET查询请求将返回数据解析成对象 String packagesUrl = "http://localhost:8080/packages"; Integer packageId = 12; String url = String.format("%s/%s", packagesUrl, packageId); GitlabPac

2021-11-18 09:53:31 467

原创查询SQL解析成java对象工具

场景这个工具是将查询sql where条件，拆分成数组对象，具体效果如下例如select * from dual where id=1 and name between 2 and 4 or (value =3 and stash in('we'))解析为：[ { "values":[ "1" ], "column":"id", "operator":"=" }, {

2021-11-04 20:49:02 1124

原创 maven 常用插件

maven-shade-plugin将依赖的jar包打包到当前jar包（常规打包是不会将所依赖jar包打进来的）；对依赖的jar包进行重命名（用于类的隔离）；<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <executions> <

2021-10-28 23:21:54 212

原创 io.fabric8.kubernetes.client.KubernetesClientException Exception : too old resource version

场景基于docker镜像：flink:1.11.2-scala_2.11使用环境：基于k8s进行部署异常日志Fatal error occurred in the cluster entrypoint. io.fabric8.kubernetes.client.KubernetesClientException Exception : too old resource version: 122201792 (122215353) at io.fabric8.kubernetes.clien

2021-10-28 23:15:31 4020

原创 flink jdbc分库分表

flink jdbc分库分表

2021-10-28 23:00:01 2691 1

原创 feign 实现签名、服务地址动态切换

feign动态调用服务动态切换 feign签名 feign教程

2021-10-28 14:15:02 3649 1

原创 mysql-connector日志格式化输出

前言经常我们项目中会依赖 mysql-connector-jar来进行ORM操作，在我们进行排查问题时，有时客户端需要知道mysql做了什么事情，再详细点，想样看到打印的TRACE级别的日志，实际上，在mysql-connector包中，有很多日志输出的代码，单默认没有开启打印到控制台。下面，我们就实现这个目标：输出日志，并且集成到项目日志系统中。分析代码分析通过查看jdbc日志输出带代码，来定位日志打印开关的位置。mysql-connector日志打印代码样例：public class

2021-09-18 15:19:30 463

原创 hadoop 安装

hadoop 安装下载地址安装步骤1.创建用户2.设置JAVA_HOME3.安装hadoop4.配置4.1 Hadoop单机配置(非分布式)4.2 Hadoop伪分布式配置Q&A下载地址Hadoop的下载：http://mirrors.cnnic.cn/apache/hadoop/common本次是基于2.8.1版本安装步骤1.创建用户用户名为hadoop，使用/bin/bash作为shellsudo useradd -m hadoop -s /bin/bashsudo pa

2021-08-06 15:27:12 120

原创 Flink k8s启动方式

Flink k8s启动方式通过docker启动镜像准备Session Cluster启动模式1. 设置docker容器建的通信连接2. 启动JobManager3. 启动TaskManager4.启动任务Job Cluster启动模式1. 设置docker容器建的通信连接2. 启动JobManager3. 启动TaskManger通过k8s启动1. 准备镜像1.1. 基于flink:1.11.2-scala_2.11 将Job启动函数以及依赖，生成新的镜像1.2. k8s集群2. Per-Job模式启动fl

2021-07-20 00:04:53 1577 3

原创 nproc、nofile 对于systemctl 服务设置不生效

nproc、nofile 对于systemctl 服务设置不生效背景排查过程解决方法扩展nproc、nofile的含义如果超过限制值，出现的错误描述nprocnofile配置并生效配置查看命令背景在一次mq集群运维过程中，broker不能正常启动，报错（Too many open files）排查过程看到这个错误首先想到的解决方法是修改系统文件最大连接数的限制，但是通过命令查看当前系统连接数已经为比较大的值（655350）。接着判断是不是配置没有生效，或者是当前进程的配置获取的并不是系统的全局配置，

2021-07-19 22:06:47 1594

jd-gui反编译工具

jd-gui工具很好用，maven项目中有时只能下载jar而不能下载源码，通过这个工具可以将jar反编译成源码，然后就可以正常进行debug

2015-11-26

ojdbc6源码

ojdbc6源码,有时候maven自动下载源码失败，所以需要自己进行反编译。反编译工具可以用jd-gui

2015-11-26

windowbuilder for eclipse4.4

windowbuilder for eclipse4.4 用过swt designer的人都知它是非常好用的swing/swt可视化开发工具，有了它，swing/swt也可以像visual studio一样拖拉控件写程序（虽然netbean也可以，不过没怎用），可惜是个收费产品，后来把改名为windowbuilder。不过Google把这个工具的开发公司Instantiations收购了，并把这个产品免费发布。Google收购Instantiations是为了给它的GWT设计开发工具，据说也是为了它的Anroid搞开发工具

2014-11-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

jd-gui反编译工具

ojdbc6源码

windowbuilder for eclipse4.4

FastStone 7.7破解补丁

FastStorn Capture7.7破解补丁

servelt api

韩顺平jsp购物车源码

正则表达式笔记

css学习笔记

空空如也