自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(120)
  • 资源 (10)
  • 论坛 (24)
  • 问答 (2)
  • 收藏
  • 关注

原创 git 合并多个 commit

1、rebase 介绍rebase在git中是一个非常有魅力的命令,使用得当会极大提高自己的工作效率;相反,如果乱用,会给团队中其他人带来麻烦。它的作用简要概括为:可以对某一段线性提交历史进行编辑、删除、复制、粘贴;因此,合理使用rebase命令可以使我们的提交历史干净、简洁!注意不要通过rebase对任何已经提交到公共仓库中的commit进行修改(自己一个人的分支除外)2、合并过程当我们在本地仓库中提交了多次,在我们把本地提交push到公共仓库中之前,为了让提交记录更简洁明了,我们

2021-04-16 17:58:21 11

原创 Flink SQL Client CLI 使用入门

参照:https://blog.csdn.net/boling_cavalry/article/details/105964425一、SQL ClientFlink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句,但是这些查询需要嵌入用 Java 或 Scala 编写的程序中。此外,这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。SQL 客户端 的目的是提供一种简单的方式来编写、调试和提交表程序到.

2021-04-07 15:57:03 23

原创 Spring Boot 自动配置第三方 jar 包中的配置

参考:https://www.cnblogs.com/cmt/p/14553189.html一、需求描述封装一套组件可以给第三方使用,如果第三方直接引用依赖,Spring Boot不会对引用的jar中的配置类(如带有@Configuration的类)解决方案:1.使用者手动配置 @ComponentScan2.配置开关决定是否开启配置3.Spring Boot 主动加载这三种方式友好程度依次递增二、解决方案1. 使用 @ComponentScan只需在第三方程序的启动类或自定义的配置

2021-03-19 14:24:24 60

原创 spring boot debug 启动很慢

今天用 IDEA 对 spring boot 项目,进行 debug 模式启动时,发现启动的特别慢。通过分析启动日志,发现如下提示:Method breakpoints may dramatically slow down debugging查看 IDEA 的所有断点,发现有一个断电打到了方法上,只需将该断点去掉即可。...

2021-03-19 11:49:56 17

原创 gitlab 分支保护

要求:1、允许 maintainer、developer to merge develop 分支,允许maintainer push to develop 分支2、允许 maintainer to merge and push master 分支操作步骤:1、settings -> repository -> protected branches expand2、根据情况选择 branch、merge role、push role,点击 Protect 即可。...

2021-03-04 14:11:15 21

原创 数据湖入门

转自:https://blog.csdn.net/qq_41822345/article/details/111902557学习资源来自https://www.bilibili.com/video/BV16y4y1C7Po文章目录课程目标 前置技能 一、数据湖概念[了解] 1.1 企业的数据困扰 困扰一:互联网的兴起和数据孤岛 困扰二:非结构化数据 困扰三:保留原始数据 补充:什么是结构化? 结构化数据 非结构化数据 半结构化.

2021-02-19 13:43:07 151 2

原创 Flink Table API & SQL编程指南(1)

本文来自:https://jiamaoxiang.top/2020/05/25/Flink-Table-API-SQL%E7%BC%96%E7%A8%8B%E6%8C%87%E5%8D%97/概述Apache Flink提供了两种顶层的关系型API,分别为Table API和SQL,Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合关系运算符(例如select,where和join)的查询。

2021-01-12 10:50:55 25

原创 通过 show status 优化数据库性能

1、使用show status查看MySQL服务器状态信息MySQL客户端连接成功后,通过 show [session|global] 命令可以查询服务器的状态信息,也可以在操作系统上使用 mysql admin extended -status命令获取这些信息。可以通过查询表的方式来查询状态变量的值,MySQL 5.6查询 INFORMATION_SCHEMA.GLOBAL_STATUS 和INFORMATION_SCHEMA.SESSION_STATUS;MySQL 5.7查询 performanc

2020-11-13 15:22:10 44

原创 mysql 常见问题处理

1、java.sql.SQLException: Prepared statement needs to be re-prepared查看当前表打开情况mysql> show global status like 'open%tables%';+---------------+----------+| Variable_name | Value |+---------------+----------+| Open_tables | 256 || Opened_t...

2020-11-13 10:56:29 30

原创 GreenPlum 执行缓慢排查过程

一、排查过程1、查看服务器负载free -mtop2、查看连接数SELECT COUNT(*) FROM pg_stat_activity WHERE STATE NOT LIKE '%idle';3、慢 SQLSELECT datname, usename, client_addr, application_name, state, backend_start, xact_start, xact_stay, q...

2020-11-06 19:21:19 417

原创 Docker 安装 ClickHouse

1、创建目录mkdir -p /docker/cloud/clickhouse/confmkdir -p /docker/cloud/clickhouse/datamkdir -p /docker/cloud/clickhouse/logchmod -R 777 /docker/cloud/clickhouse/confchmod -R 777/docker/cloud/clickhouse/confchmod -R 777/docker/cloud/clickhouse/co..

2020-10-26 15:41:55 72

原创 IDEA 配置方法注释

1、打开 idea 设置File -> Settings -> Editor -> Live Templates2、点击 "+" -> Template Group -> enter group name:my-annotation3、选中 新创建的my-annotation group,点击 "+" -> live Template -> enter group name:my-annotation,输入如下内容Template text...

2020-09-22 14:51:07 39

原创 IDEA 生成 @author @date 注释

1、打开 idea 设置File -> Settings -> Editor -> File and Code Templates -> Includes -> File Header/*** @author jiangmiaoguan(jiangmiao.guan@vip.com)* @date ${DATE} ${TIME}*/

2020-09-22 14:40:16 339

原创 idea terminal git log 中文乱码

idea 中使用 git log 命令,中文会显示乱码。解决办法:(1)打开 idea 安装目录(2)打开 bash.bashrc,在文件末尾增加# 解决idea中文显示乱码export LANG="zh_CN.UTF-8"export LC_ALL="zh_CN.UTF-8"(3)重新打开 idea...

2020-09-10 11:04:25 55

原创 探究 Flink on YARN 模式下 TaskManager 的内存分配

一、任务提交我们使用如下的参数提交了Flink on YARN作业flink run -m yarn-cluster -p 4 -yjm 3072 -ytm 4096 -ynm flink-test -d -c com.test.Test flink-test-1.0.0-SNAPSHOT.jar二、查看内存情况该作业启动了1个TaskManager,占用4个slot,并正常运行。来到该任务的Web界面,打开TaskManager页面,看看它的内存情况。虽然我们在参数中设置了 T

2020-08-18 15:15:11 266

转载 基于 Flink 和 Drools 的实时日志处理

来源:http://www.cnblogs.com/luxiaoxun/背景日志系统接入的日志种类多、格式复杂多样,主流的有以下几种日志: filebeat采集到的文本日志,格式多样 winbeat采集到的操作系统日志 设备上报到logstash的syslog日志 接入到kafka的业务日志 以上通过各种渠道接入的日志,存在2个主要的问题: 格式不统一、不规范、标准化不够 如何从各类日志中提取出用户关心的指标,挖掘更多的业务价值 为了解决上

2020-07-24 17:40:55 85

原创 Mysql 索引长度限制

在设置 utf8mb4 字段的字符长度时,可能会抛出一个异常:"Specified key was too long; max key length is 1000 bytes"。也就是在给表的索引字段添加字符长度时,超过了最大索引长度 1000 字节。一、原因分析关于索引长度的限制,最主要的因素就是存储引擎和字符集。字符集的影响在于,不同的字符集,单个字符包含的最大字节数有所不同。比如 utf8 字符集,一个字符最多包含 3 个字节。而 utf8mb4 一个字符最多包含 4 个字节。对于 I

2020-07-24 17:30:00 462

原创 Flink1.8 批作业实战:读取文本数据, 写入 mysql

1、项目介绍从 hdfs 读取文本数据,使用 flink table api/api 对数据进行统计处理,然后将结果写入 mysql2、pom.xml<!-- flink table --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_${scala.binary.version}</artifactId&g

2020-07-15 15:07:34 284

原创 docker 踩坑记

一、docker 通过 volumes 挂载文件,修改宿主机文件,容器文件不同步原因分析:docker挂载文件时,并不是挂载了某个文件的路径,而是挂载了对应的文件,即挂载了linux指定的inode文件。当使用vim之类的编辑器进行保存时,它不是直接保存文件,而是采用了备份、替换的策略,就是编辑时,是创建一个新的文件,在保存的时候,把备份文件替换源文件,这个时候文件的 inode 就发生了变化,而原来 inode 对应的文件其实并没有修改,也就是容器内的文件没有变化。解决办法:方法一:重启容器

2020-06-24 18:09:44 120

原创 logstash+hdfs 实现 kafka 数据监控

1、kafka 数据格式,tab 分隔bucket_online_backends world 105102 1 540 0 2019-11-25 08:10:00.0 320 2019-11-25 07:37:15.0bucket_online_logs version 1051189902 1 555 0 2019-11-25 08:10:0.0 46 661 2019-11-25 07:37...

2020-06-23 18:48:15 117

原创 docker 部署 logstash,实现 logstash + influxdb 监控 kafka 数据

一、docker 部署 logstash1、创建 Dockerfilevim DockerfileFROM logstash:7.8.0# 安装input插件#RUN logstash-plugin install logstash-input-kafka# 安装output插件RUN logstash-plugin install logstash-output-influxdb2、创建 imagedocker build -t logstash:7.8.0 .二

2020-06-23 17:18:30 312

原创 Kafka 问题汇总

1、FETCH_SESSION_ID_NOT_FOUND2020-06-12 01:11:17.894 [Kafka Fetcher for Source: Custom Source -> Map -> Filter (1/4)] INFO org.apache.kafka.clients.FetchSessionHandler - [Consumer clientId=consumer-6, groupId=igg-user-chat-monitor] Node 3 was una..

2020-06-12 14:32:13 746

原创 Mysql delete 和 truncate 的区别

1、删除表中记录的方法delete from 语句 truncate table 语句2、delete from 语句delete from 语句可以使用 where 对要删除的记录进行选择,并且支持 ORDER BY 和 LIMIT 子句,通过这两个子句,我们可以更好地控制要删除地记录。如果delete不加WHERE子句,那么效果和 truncate table 是一样的,会删除表中地所有数据。但是 delete from 是一行一行的删除,速度很慢。删除完成时,返回被删除地记录数

2020-06-02 11:05:19 77

原创 docker 创建 greenplum 客户端镜像

1、压缩导出 gp 服务端安装包 greenplum-db-4.3.8.2.tar.gz2、创建 Dockerfile# VERSION 0.1.0# AUTHOR: Jiangmiao Guan# DESCRIPTION: gp client# BUILD: docker build --build-arg gp_path=greenplum-db-4.3.8.2.tar.gz --rm -t igg-gp-client:0.1.0 .FROM centos:7# agent

2020-05-15 14:26:05 204

原创 IDEA 修改 Tab缩进字符、换行格式

1、修改换行符为 Unix 格式(\n),默认采用系统格式,windows 格式为 \r\nSetting -> Editor -> Code Style2、修改 Tab 缩进为 4 个空格Setting -> Editor -> Code Style -> Java

2020-05-13 14:11:02 1864

原创 Docker 中部署 Greenplum

一、环境准备Docker docker-compose centos:7.5.1804 的 docker 镜像 greenplum-db-5.14.0-rhel7-x86_64.bin 二进制文件1、查看 docker 和 docker-compose 版本[bigdata@local-vm-320 gp]$ docker -vDocker version 19.03.5, build 633a0ea[bigdata@local-vm-320 gp]$ docker-compose

2020-05-09 16:24:50 1206

原创 Flink 对于迟到数据的处理

WaterMark 和 Window 机制解决了流式数据的乱序问题,对于因为延迟而顺序有误的数据,可以根据eventTime进行业务处理。Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时,该元素本该被分配到某个窗口,但由于延迟,窗口已经触发计算。目前Flink有三种处理迟到数据的方式:直接将迟到数据丢弃 将迟到数据发送到另一个...

2020-04-29 17:42:13 442

原创 win10 安装 docker 及 IDEA 配置

1、官网下载 Docker Desktop for windows下载地址:https://hub.docker.com/editions/community/docker-ce-desktop-windows2、双击 "Docker Desktop Installer.exe" 按默认配置,安装 docker3、安装完成,验证 dockerdocker ps、docker ima...

2020-04-20 16:22:17 417

原创 Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

原文链接:https://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/演示代码已经开源到了 GitHub 上:https://github.com/wuchong/flink-sql-submit这份代码主要由两部分组成:1) 能用来提交 SQL 文件的 SqlSubmit 实现。2)...

2020-03-30 16:02:21 239

原创 Flink window 数据倾斜 解决思路

原文链接:https://blog.csdn.net/IT_Lee_J_H/article/details/88641894这里阐述一下Flink中 window间的数据倾斜的解决思路,不做代码展现。场景: 分项目统计某个时间粒度的 pv 数据数据情况: 每个项目的数据量不同,某个项目的数据量很大,导致这个项目的窗口中的数据很大,发生倾斜。解决思路:思...

2020-03-30 15:26:36 863

原创 Mysql 设置 Date 类型默认值 0000-00-00 报错

Mysql Date 类型字段,设置 DEFAULT '0000-00-00' 报错Invalid default value for ‘create_time’原因:SQL_MODE 没设置好。解决:(1)查询当前数据库的 SQL_MODESELECT @@sql_mode;ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO...

2020-03-26 15:41:48 897

原创 Flink 零基础实战教程:如何计算实时热门商品

原文:https://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/通过本文你将学到:如何基于 EventTime 处理,如何指定 Watermark 如何使用 Flink 灵活的 Window API 何时需要用到 State,以及如何使用 如何使用 ProcessFunction 实现 TopN 功能实战案...

2020-03-20 20:36:13 138 2

原创 如何去除 aspose.cells 水印

1、官网下载aspose-cells-19.7.jarhttps://downloads.aspose.com/cells/java2、使用 javassist 反编译 jar 并重新打包生成 jar由于aspose产品系列是没有做联网校验的,所以破解起来比较容易,只要找到核心逻辑,用 javassist 重新生成一下类即可。重新编译打包生成aspose-cells-19.7....

2020-03-18 11:04:12 1851 3

原创 使用 javassist 反编译 class 并重新打包 jar

Javassist是一款字节码编辑工具,可以直接编辑和生成Java生成的字节码,以达到对.class文件进行动态修改的效果。熟练使用这套工具,可以让Java编程更接近与动态语言编程。假设我们要修改aspose-cells-19.7.jar 中的 com.aspose.cells.License,并重新打包生成 jar1、maven 中引入 javassist 依赖包<de...

2020-03-18 10:52:28 994

原创 使用Java命令编译、打包类

1、编写好测试类 Demo.javapackage com.test;public class Demo { public static void main(String[] args) { System.out.println("Hello World!"); }}2、使用命令编译 Demo.javajavac Demo.java说明...

2020-03-18 10:42:41 151

原创 Flink流计算编程--看看别人怎么用Session Window

原文链接:https://blog.csdn.net/lmalds/article/details/692670561、简介流处理在实际生产中体现的价值越来越大,Apache Flink这个纯流式计算框架也正在被越来越多的公司所关注并尝试使用其流上的功能。在2017年波兰华沙大数据峰会上,有一家叫做GetInData的公司,分享了一个关于他们内部如何使用Flink的session ...

2020-03-09 10:35:50 179

原创 Flink使用Broadcast State实现流处理配置实时更新

来源链接:http://shiyanjun.cn/archives/1857.html,感谢 Yanjun 的分享。Broadcast State是Flink支持的一种Operator State。使用Broadcast State,可以在Flink程序的一个Stream中输入数据记录,然后将这些数据记录广播(Broadcast)到下游的每个Task中,使得这些数据记录能够为所有的Task所共...

2020-01-21 13:35:27 1614

原创 storm 环境搭建

详见笔者的这篇博文docker 搭建 storm

2020-01-16 19:43:28 464

原创 docker 搭建 storm

1,编写服务编排配置文件docker-compose-storm.ymlversion: '3.1'services: zookeeper: image: zookeeper container_name: zookeeper restart: always kafka: image: michaeldqi...

2020-01-16 19:40:58 748

原创 kafka 彻底删除 topic 及数据

默认情况,当我们删除 topic 并不会真正删除,只是把队列标记为marked for deletion如果我们要彻底删除 topic 及数据,可采用一下方法[方法一]修改 kafka/conf/server.properties,增加delete.topic.enable=true,然后重启 kafka,通过命令行删除 kafkfa 即可./kafka-topics.sh -...

2020-01-16 19:27:44 1624

Java Swing+Access2003l实现学生管理系统

基于Java Swing和Access数据库,完成学生管理系统的实现。具备学生管理系统基本的登录、查询成绩和个人信息等、修改个人兴趣等功能。

2013-06-19

jsf开发需要的jar包

jsf开发需要的8个jar包:jsf-impl.jar;jsf-api.jar;commons-digester.jar;commons-collections.jar;commons-beanutils.jar;commons-logging.jar;jstl.jar;standard.jar

2013-01-15

山寨QQ(QQ号使用随机生成方式)

用java swing做的山寨QQ,QQ号使用随机生成的方式

2012-09-02

jsf入门、配置使用及标签说明

该ppt适合于jsf入门学习者,ppt中有jsf配置、标签说明和例子距离。

2013-01-11

ASCII码完整版

ASCII码 完整版,以及各个ascii码所代表的含义,转换为各种进制码。

2012-06-27

div+css入门学习

适合于css入门学习者,只要认真观看,两天即可学会css。

2013-01-11

JSF初级教程

对于JSF初学者绝对适用。只要两天就可以看完,对JSF就可以掌握80%。

2013-01-15

ER-Studio 8.0.2.zip

ER-Studio 8.0.2 安装及破解。

2019-09-18

jsf 帮助文档 jar包

jsf编程需要的帮助文档,以及开发需要的jar包

2013-01-11

jar生成exe工具,exe4j

Windows环境下,Java Project导出的jar,生成exe。

2016-01-15

JSP实现左边是树形菜单,右边是对应的内容显示

发表于 2013-06-21 最后回复 2019-05-21

JTextPane实现指定位置插入文字和图片

发表于 2013-02-13 最后回复 2019-05-09

JTree 根据叶节点值 查找该叶节点 并设置该叶节点闪烁

发表于 2012-08-29 最后回复 2018-08-26

JTree 遍历叶节点

发表于 2012-08-29 最后回复 2017-11-07

jquery uploadify3.2.1+struts2报错:Call to StartUpload failed

发表于 2015-04-02 最后回复 2015-12-31

java 实现在线视频聊天

发表于 2013-03-18 最后回复 2015-08-21

jplayer在jsp中不能使用。。

发表于 2015-04-10 最后回复 2015-04-10

layer.photosPage的关闭事件会触发window.onbeforeunload

发表于 2015-04-06 最后回复 2015-04-06

window.showModalDialog如何判断是否点击了关闭按钮

发表于 2015-04-05 最后回复 2015-04-06

挂号信查询客户端的实现原理

发表于 2013-10-25 最后回复 2013-11-11

java JTree选中某个叶子节点,回车,相当于双击事件

发表于 2013-03-22 最后回复 2013-10-25

java swing如何实现QQ聊天窗口

发表于 2013-01-22 最后回复 2013-06-21

java 断点调试 停住了 不能动

发表于 2012-09-10 最后回复 2013-06-21

java 任务栏 闪烁

发表于 2012-09-06 最后回复 2013-06-21

JWindow失去焦点 自动消失

发表于 2013-02-16 最后回复 2013-06-21

JTree实现没有叶节点的根节点

发表于 2013-02-19 最后回复 2013-06-21

java.io.StreamCorruptedException: invalid stream header:异常

发表于 2013-02-27 最后回复 2013-02-27

java string截取两个字符串之间的值

发表于 2013-02-13 最后回复 2013-02-16

JWindow 点击其他地方 窗口自动消失

发表于 2013-02-13 最后回复 2013-02-13

求java swing帮忙实现以下布局。

发表于 2013-01-25 最后回复 2013-02-01

java swing帮忙修改代码

发表于 2013-01-28 最后回复 2013-02-01

数据库表满足第几范式

发表于 2012-10-14 最后回复 2013-01-22

system.out.println(-8>>>2),输出1073741822。求解释。谢谢。

发表于 2012-10-21 最后回复 2012-10-22

java 保存 窗口对象

发表于 2012-09-12 最后回复 2012-09-18

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除