magic_kid_2010-CSDN博客

原创 log4j2漏洞升级

一、影响范围：Apache Log4j 2.x <= 2.15.0-rc1二、可能受影响的应用不限于以下内容：Spring-Boot-strater-log4j2Apache Struts2Apache SolrApache DruidApache FlinkElasticSearchFlumeDubboJedisLogstashKafkaApache Storm三、解决办法：1、等待官方升级 log4j2 版本。2、自己升级 log

2021-12-17 17:28:44 7257

原创 maven clean 提示 target directory does not exist

通用是因为待删除的 target 文件夹被其他进程使用，导致无法删除。解决办法：打开任务管理器，找到占用进程，关闭即可。

2021-12-10 14:11:42 2238 1

原创 Flink 快照分析：定位大状态和数据倾斜的算子

参照：Flink 快照分析：定位大状态和数据倾斜的算子 - 云+社区 - 腾讯云在 Flink 作业中，无论是 SQL 还是 JAR 模式，常常会直接或者间接地使用到状态（State）。当 Flink 进行快照时，用户定义的这些状态数据可以被保存在状态点中，以供后续的崩溃恢复。Flink 的状态分为 Operator State 和 Keyed State，而 Keyed State 又可以分为 ValueState、MapState、ListState、AggregatingState、Mergin

2021-10-22 13:51:57 303

原创读取 Flink 快照信息

1、脚本编写package com.igg.flink.tool.test;import lombok.extern.slf4j.Slf4j;import org.apache.commons.io.FileUtils;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.core.memory.ByteArrayInputStreamWithPos;import org.apache.flink.co.

2021-10-22 13:40:41 539

原创当一个新的 consumer 加入 kafka group 会发生什么?

参考：What happens when a new consumer joins the group in Kafka? - Łukasz Chrząszcz Blog

2021-10-22 13:26:23 234

原创 logstash to elasticsearch 踩坑记

[2021-10-21T23:40:21,387][WARN ][logstash.outputs.elasticsearch][main] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://xxxxxx:xxxxxx@192.168.2.120:9200/][Manti.

2021-10-22 13:21:40 6270

原创 Kafka常见问题

1、消费速度过慢触发rebalance而导致的重复消费Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time betweensubsequent calls to poll() was longer than the configured max.poll.interval.ms..

2021-10-22 11:26:53 2353

原创 git 合并多个 commit

1、rebase 介绍rebase在git中是一个非常有魅力的命令，使用得当会极大提高自己的工作效率；相反，如果乱用，会给团队中其他人带来麻烦。它的作用简要概括为：可以对某一段线性提交历史进行编辑、删除、复制、粘贴；因此，合理使用rebase命令可以使我们的提交历史干净、简洁！注意不要通过rebase对任何已经提交到公共仓库中的commit进行修改（自己一个人的分支除外）2、合并过程当我们在本地仓库中提交了多次，在我们把本地提交push到公共仓库中之前，为了让提交记录更简洁明了，我们

2021-04-16 17:58:21 2018

原创 Flink SQL Client CLI 使用入门

参照：https://blog.csdn.net/boling_cavalry/article/details/105964425一、SQL ClientFlink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。SQL 客户端的目的是提供一种简单的方式来编写、调试和提交表程序到.

2021-04-07 15:57:03 4875

原创 Spring Boot 自动配置第三方 jar 包中的配置

参考：https://www.cnblogs.com/cmt/p/14553189.html一、需求描述封装一套组件可以给第三方使用，如果第三方直接引用依赖，Spring Boot不会对引用的jar中的配置类（如带有@Configuration的类）解决方案：1.使用者手动配置 @ComponentScan2.配置开关决定是否开启配置3.Spring Boot 主动加载这三种方式友好程度依次递增二、解决方案1. 使用 @ComponentScan只需在第三方程序的启动类或自定义的配置

2021-03-19 14:24:24 1229

原创 spring boot debug 启动很慢

今天用 IDEA 对 spring boot 项目，进行 debug 模式启动时，发现启动的特别慢。通过分析启动日志，发现如下提示：Method breakpoints may dramatically slow down debugging查看 IDEA 的所有断点，发现有一个断电打到了方法上，只需将该断点去掉即可。...

2021-03-19 11:49:56 941

原创 gitlab 分支保护

要求：1、允许 maintainer、developer to merge develop 分支，允许maintainer push to develop 分支2、允许 maintainer to merge and push master 分支操作步骤：1、settings -> repository -> protected branches expand2、根据情况选择 branch、merge role、push role，点击 Protect 即可。...

2021-03-04 14:11:15 601 1

原创数据湖入门

转自：https://blog.csdn.net/qq_41822345/article/details/111902557学习资源来自https://www.bilibili.com/video/BV16y4y1C7Po文章目录课程目标前置技能一、数据湖概念[了解] 1.1 企业的数据困扰困扰一：互联网的兴起和数据孤岛困扰二：非结构化数据困扰三：保留原始数据补充：什么是结构化？结构化数据非结构化数据半结构化.

2021-02-19 13:43:07 1677 3

原创 Flink Table API & SQL编程指南(1)

本文来自:https://jiamaoxiang.top/2020/05/25/Flink-Table-API-SQL%E7%BC%96%E7%A8%8B%E6%8C%87%E5%8D%97/概述Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL，Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合关系运算符（例如select，where和join）的查询。

2021-01-12 10:50:55 289

原创通过 show status 优化数据库性能

1、使用show status查看MySQL服务器状态信息MySQL客户端连接成功后，通过 show [session|global] 命令可以查询服务器的状态信息，也可以在操作系统上使用 mysql admin extended -status命令获取这些信息。可以通过查询表的方式来查询状态变量的值，MySQL 5.6查询 INFORMATION_SCHEMA.GLOBAL_STATUS 和INFORMATION_SCHEMA.SESSION_STATUS；MySQL 5.7查询 performanc

2020-11-13 15:22:10 537

原创 mysql 常见问题处理

1、java.sql.SQLException: Prepared statement needs to be re-prepared查看当前表打开情况mysql> show global status like 'open%tables%';+---------------+----------+| Variable_name | Value |+---------------+----------+| Open_tables | 256 || Opened_t...

2020-11-13 10:56:29 699

原创 GreenPlum 执行缓慢排查过程

一、排查过程1、查看服务器负载free -mtop2、查看连接数SELECT COUNT(*) FROM pg_stat_activity WHERE STATE NOT LIKE '%idle';3、慢 SQLSELECT datname, usename, client_addr, application_name, state, backend_start, xact_start, xact_stay, q...

2020-11-06 19:21:19 3204

原创 Docker 安装 ClickHouse

1、创建目录mkdir -p /docker/cloud/clickhouse/confmkdir -p /docker/cloud/clickhouse/datamkdir -p /docker/cloud/clickhouse/logchmod -R 777 /docker/cloud/clickhouse/confchmod -R 777/docker/cloud/clickhouse/confchmod -R 777/docker/cloud/clickhouse/co..

2020-10-26 15:41:55 1279 1

原创 IDEA 配置方法注释

1、打开 idea 设置File -> Settings -> Editor -> Live Templates2、点击 "+" -> Template Group -> enter group name:my-annotation3、选中新创建的my-annotation group，点击 "+" -> live Template -> enter group name:my-annotation，输入如下内容Template text...

2020-09-22 14:51:07 491

原创 IDEA 生成 @author @date 注释

1、打开 idea 设置File -> Settings -> Editor -> File and Code Templates -> Includes -> File Header/*** @author jiangmiaoguan(jiangmiao.guan@vip.com)* @date ${DATE} ${TIME}*/

2020-09-22 14:40:16 6547 2

原创 idea terminal git log 中文乱码

idea 中使用 git log 命令，中文会显示乱码。解决办法：(1)打开 idea 安装目录（2）打开 bash.bashrc，在文件末尾增加# 解决idea中文显示乱码export LANG="zh_CN.UTF-8"export LC_ALL="zh_CN.UTF-8"（3）重新打开 idea...

2020-09-10 11:04:25 372

原创探究 Flink on YARN 模式下 TaskManager 的内存分配

一、任务提交我们使用如下的参数提交了Flink on YARN作业flink run -m yarn-cluster -p 4 -yjm 3072 -ytm 4096 -ynm flink-test -d -c com.test.Test flink-test-1.0.0-SNAPSHOT.jar二、查看内存情况该作业启动了1个TaskManager，占用4个slot，并正常运行。来到该任务的Web界面，打开TaskManager页面，看看它的内存情况。虽然我们在参数中设置了 T

2020-08-18 15:15:11 1474

转载基于 Flink 和 Drools 的实时日志处理

来源：http://www.cnblogs.com/luxiaoxun/背景日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志： filebeat采集到的文本日志，格式多样 winbeat采集到的操作系统日志设备上报到logstash的syslog日志接入到kafka的业务日志以上通过各种渠道接入的日志，存在2个主要的问题：格式不统一、不规范、标准化不够如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值为了解决上

2020-07-24 17:40:55 242

原创 Mysql 索引长度限制

在设置 utf8mb4 字段的字符长度时，可能会抛出一个异常："Specified key was too long; max key length is 1000 bytes"。也就是在给表的索引字段添加字符长度时，超过了最大索引长度 1000 字节。一、原因分析关于索引长度的限制，最主要的因素就是存储引擎和字符集。字符集的影响在于，不同的字符集，单个字符包含的最大字节数有所不同。比如 utf8 字符集，一个字符最多包含 3 个字节。而 utf8mb4 一个字符最多包含 4 个字节。对于 I

2020-07-24 17:30:00 12507 1

原创 Flink1.8 批作业实战：读取文本数据，写入 mysql

1、项目介绍从 hdfs 读取文本数据，使用 flink table api/api 对数据进行统计处理，然后将结果写入 mysql2、pom.xml<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_${scala.binary.version}</artifactId&g

2020-07-15 15:07:34 886

原创 docker 踩坑记

一、docker 通过 volumes 挂载文件，修改宿主机文件，容器文件不同步原因分析：docker挂载文件时，并不是挂载了某个文件的路径，而是挂载了对应的文件，即挂载了linux指定的inode文件。当使用vim之类的编辑器进行保存时，它不是直接保存文件，而是采用了备份、替换的策略，就是编辑时，是创建一个新的文件，在保存的时候，把备份文件替换源文件，这个时候文件的 inode 就发生了变化，而原来 inode 对应的文件其实并没有修改，也就是容器内的文件没有变化。解决办法：方法一：重启容器

2020-06-24 18:09:44 313

原创 logstash+hdfs 实现 kafka 数据监控

1、kafka 数据格式，tab 分隔bucket_online_backends world 105102 1 540 0 2019-11-25 08:10:00.0 320 2019-11-25 07:37:15.0bucket_online_logs version 1051189902 1 555 0 2019-11-25 08:10:0.0 46 661 2019-11-25 07:37...

2020-06-23 18:48:15 423

原创 docker 部署 logstash，实现 logstash + influxdb 监控 kafka 数据

一、docker 部署 logstash1、创建 Dockerfilevim DockerfileFROM logstash:7.8.0# 安装input插件#RUN logstash-plugin install logstash-input-kafka# 安装output插件RUN logstash-plugin install logstash-output-influxdb2、创建 imagedocker build -t logstash:7.8.0 .二

2020-06-23 17:18:30 915

原创 Kafka 问题汇总

1、FETCH_SESSION_ID_NOT_FOUND2020-06-12 01:11:17.894 [Kafka Fetcher for Source: Custom Source -> Map -> Filter (1/4)] INFO org.apache.kafka.clients.FetchSessionHandler - [Consumer clientId=consumer-6, groupId=igg-user-chat-monitor] Node 3 was una..

2020-06-12 14:32:13 6586

原创 Mysql delete 和 truncate 的区别

1、删除表中记录的方法delete from 语句 truncate table 语句2、delete from 语句delete from 语句可以使用 where 对要删除的记录进行选择，并且支持 ORDER BY 和 LIMIT 子句，通过这两个子句，我们可以更好地控制要删除地记录。如果delete不加WHERE子句，那么效果和 truncate table 是一样的，会删除表中地所有数据。但是 delete from 是一行一行的删除,速度很慢。删除完成时，返回被删除地记录数

2020-06-02 11:05:19 224

原创 docker 创建 greenplum 客户端镜像

1、压缩导出 gp 服务端安装包 greenplum-db-4.3.8.2.tar.gz2、创建 Dockerfile# VERSION 0.1.0# AUTHOR: Jiangmiao Guan# DESCRIPTION: gp client# BUILD: docker build --build-arg gp_path=greenplum-db-4.3.8.2.tar.gz --rm -t igg-gp-client:0.1.0 .FROM centos:7# agent

2020-05-15 14:26:05 577

原创 IDEA 修改 Tab缩进字符、换行格式

1、修改换行符为 Unix 格式(\n)，默认采用系统格式，windows 格式为 \r\nSetting -> Editor -> Code Style2、修改 Tab 缩进为 4 个空格Setting -> Editor -> Code Style -> Java

2020-05-13 14:11:02 7133

原创 Docker 中部署 Greenplum

一、环境准备Docker docker-compose centos:7.5.1804 的 docker 镜像 greenplum-db-5.14.0-rhel7-x86_64.bin 二进制文件1、查看 docker 和 docker-compose 版本[bigdata@local-vm-320 gp]$ docker -vDocker version 19.03.5, build 633a0ea[bigdata@local-vm-320 gp]$ docker-compose

2020-05-09 16:24:50 4969

原创 Flink 对于迟到数据的处理

WaterMark 和 Window 机制解决了流式数据的乱序问题，对于因为延迟而顺序有误的数据，可以根据eventTime进行业务处理。Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时，该元素本该被分配到某个窗口，但由于延迟，窗口已经触发计算。目前Flink有三种处理迟到数据的方式：直接将迟到数据丢弃将迟到数据发送到另一个...

2020-04-29 17:42:13 1592

原创 win10 安装 docker 及 IDEA 配置

1、官网下载 Docker Desktop for windows下载地址：https://hub.docker.com/editions/community/docker-ce-desktop-windows2、双击 "Docker Desktop Installer.exe" 按默认配置，安装 docker3、安装完成，验证 dockerdocker ps、docker ima...

2020-04-20 16:22:17 1147

原创 Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

原文链接：https://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/演示代码已经开源到了 GitHub 上：https://github.com/wuchong/flink-sql-submit这份代码主要由两部分组成：1) 能用来提交 SQL 文件的 SqlSubmit 实现。2）...

2020-03-30 16:02:21 518

原创 Flink window 数据倾斜解决思路

原文链接：https://blog.csdn.net/IT_Lee_J_H/article/details/88641894这里阐述一下Flink中 window间的数据倾斜的解决思路，不做代码展现。场景：分项目统计某个时间粒度的 pv 数据数据情况：每个项目的数据量不同，某个项目的数据量很大，导致这个项目的窗口中的数据很大，发生倾斜。解决思路：思...

2020-03-30 15:26:36 1940

原创 Mysql 设置 Date 类型默认值 0000-00-00 报错

Mysql Date 类型字段，设置 DEFAULT '0000-00-00' 报错Invalid default value for ‘create_time’原因：SQL_MODE 没设置好。解决：（1）查询当前数据库的 SQL_MODESELECT @@sql_mode;ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO...

2020-03-26 15:41:48 2425

原创 Flink 零基础实战教程：如何计算实时热门商品

原文：https://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/通过本文你将学到：如何基于 EventTime 处理，如何指定 Watermark 如何使用 Flink 灵活的 Window API 何时需要用到 State，以及如何使用如何使用 ProcessFunction 实现 TopN 功能实战案...

2020-03-20 20:36:13 237 2

原创如何去除 aspose.cells 水印

1、官网下载aspose-cells-19.7.jarhttps://downloads.aspose.com/cells/java2、使用 javassist 反编译 jar 并重新打包生成 jar由于aspose产品系列是没有做联网校验的，所以破解起来比较容易，只要找到核心逻辑，用 javassist 重新生成一下类即可。重新编译打包生成aspose-cells-19.7....

2020-03-18 11:04:12 4469 3