自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(62)
  • 资源 (4)
  • 收藏
  • 关注

原创 scala json与样例类的相互转换

JSON字符串转换成为样例类val orderInfo: OrderInfo = JSON.parseObject(order.value(), classOf[OrderInfo])样例类转换成为JSON字符串pom.xml<dependency><groupId>org.json4s</groupId><artifactId>json4s-native_2.11</artifactId>&l...

2020-08-13 11:14:47 138

原创 时间转换工具类

时间转换工具类:1、SimpleDateFormat线程不安全val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")val str: String = format.format(System.currentTimeMillis())2、DateTimeFormatter java自带线程安全import java.time.LocalDateTimeimport java.time.format.DateTimeFormatte.

2020-08-13 09:08:12 25

原创 Flink CEP

Flink CEP简介11.1什么是复杂事件处理CEP一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。特征:目标:从有序的简单事件流中发现一些高阶特征 输入:一个或多个由简单事件构成的事件流 处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件 输出:满足规则的复杂事件CEP用于分析低延迟、频繁产生的不同来源的事件流。CEP可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系,以接近实时或准实..

2020-08-07 00:09:52 33

原创 选择一个状态后端(state backend)

选择一个状态后端(state backend)MemoryStateBackend内存级的状态后端,会将键控状态作为内存中的对象进行管理,将它们存储在TaskManager的JVM堆上;而将checkpoint存储在JobManager的内存中。FsStateBackend将checkpoint存到远程的持久化文件系统(FileSystem)上。而对于本地状态,跟MemoryStateBackend一样,也会存在TaskManager的JVM堆上。RocksDBStateBackend将所

2020-08-07 00:07:11 44 1

原创  Flink+Kafka如何实现端到端的exactly-once语义

Flink+Kafka如何实现端到端的exactly-once语义我们知道,端到端的状态一致性的实现,需要每一个组件都实现,对于Flink + Kafka的数据管道系统(Kafka进、Kafka出)而言,各组件怎样保证exactly-once语义呢?内部 —— 利用checkpoint机制,把状态存盘,发生故障的时候可以恢复,保证内部的状态一致性 source —— kafka consumer作为source,可以将偏移量保存下来,如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新.

2020-08-07 00:03:08 105

原创 Flink的检查点算法-Chandy-Lamport分布式快照算法

Flink的检查点算法Flink检查点算法的正式名称是异步分界线快照(asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。Flink检查点的核心作用是确保状态正确,即使遇到程序中断,也要正确。记住这一基本点之后,我们用一个例子来看检查点是如何运行的。Flink为用户提供了用来定义状态的工具。例如,以下这个Scala程序按照输入记录的第一个字段(一个字符串)进行分组并维护第二个字段的计数状态。valstream:Dat..

2020-08-07 00:00:26 54

原创 source-flink-sink实现端到端的状态一致性

端到端(end-to-end)状态一致性端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一致性最弱的组件。具体可以划分如下:内部保证 —— 依赖checkpoint source 端 —— 需要外部源可重设数据的读取位置 sink 端 —— 需要保证从故障恢复时,数据不会重复写入外部系统而对于sink端,又有两种具体的实现方式:幂等(Idempotent)写入和事务性(Transactional)写入。

2020-08-06 23:51:10 72

原创 log4j和logback日志打印到控制台配置

log4j.propertieslog4j.rootLogger=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n

2020-07-29 16:37:56 115

原创 flink/blink源码编译

flink github地址:git clone git@github.com:apache/flink.git默认master分支是flink如果想编译blink需切换分支:git checkout blink编译源码:mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true..

2020-07-29 08:42:10 41

原创 spark 10种算子实现wordCount

1、aggregateByKeypackage core.day05.homework.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object wordCount1aggregateByKey { def main(args: Array[String]): Unit = { //aggregateByKey val sparkConf

2020-06-08 08:07:16 153

原创 docker私有仓库的搭建

docker私有仓库的搭建1、为什么需要私有仓库Docker官方的Docker hub(https://hub.docker.com)是一个用于管理公共镜像的仓库,我们可以从上面拉取镜像 到本地,也可以把我们自己的镜像推送上去。但是,有时候我们的服务器无法访问互联网,或者你不希望将自己的镜 像放到公网当中,那么我们就需要搭建自己的私有仓库来存储和管理自己的镜像。2、私有仓库搭建步骤:...

2020-03-30 21:58:53 46

原创 docker compose服务编排

docker compose服务编排1、为什么要有服务编排1、微服务架构的应用系统中一般包含若干个微服务,每个微服务一般都会部署多个实例,如果每个微服务都要手动启停,维护的工作量会很大。2、要从Dockerfile build image 或者去dockerhub拉取image3、要创建多个container4、要管理这些container(启动停止删除)2、什么是服务编排...

2020-03-29 18:22:33 90

原创 docker镜像制作

docker镜像制作方式一、容器转为镜像方式二、使用dockerfile制作镜像1、容器转为镜像镜像不能传输、压缩文件可以注意:挂载的文件无法进行传输1、生成新的镜像docker commit 容器id 镜像名称:版本号2、镜像转成压缩文件(用于移动到另一个环境)docker save -o 压缩文件名称 镜像名称:版本号3、在新环境对压缩文件还原...

2020-03-29 16:52:31 57

原创 docker部署redis

docker部署redis需求:在Docker容器中部署Redis,并通过外部机器访问Redis。步骤:1、搜索Redis镜像2、拉取Redis镜像3、创建容器4、测试访问开始:1、搜索redis镜像docker search redis2、拉取redis镜像docker pull redis:5.03、创建容器,设置端口映射docker...

2020-03-29 16:35:17 32

原创 docker部署nginx

docker部署nginx需求:在Docker容器中部署Nginx,并通过外部机器访问Nginx。步骤:1、搜索Nginx镜像2、拉取Nginx镜像3、创建容器4、测试访问开始:1、搜索nginx镜像docker search nginx2、拉取nginx镜像docker pull nginx3、创建容器,设置端口映射、目录映射# ...

2020-03-29 16:24:47 47

原创 docker部署tomcat

docker部署tomcat需求:在Docker容器中部署Tomcat,并通过外部机器访问Tomcat部署的项目。步骤:1、搜索tomcat镜像2、拉取tomcat镜像3、创建容器4、部署项目5、测试访问开始:1、搜索tomcat镜像docker search tomcat2、拉取tomcat镜像 不写版本 默认最新版本docker pull to...

2020-03-29 16:08:42 32

原创 docker部署mysql

docker部署mysql概念:端口映射1、为什么需要端口映射:1、容器内的网络服务和外部机器不能直接通信2、外部机器和宿主机可以直接通信3、宿主机和容器可以直接通信2、什么是端口映射:当容器中的网络服务需要被外部机器访问时,可以将容器中提供服务的端口映射到宿主机的端口上。外部机器访问宿主机的该端口,从而间接访问容器的服务。案例:在Docker容器中部署...

2020-03-29 15:03:14 38

原创 docker容器数据卷

docker容器数据卷数据卷概念 宿主机的一个目录或文件数据卷作用 容器数据持久化 客户端和容器数据交换 容器间数据交换数据卷容器 创建一个容器,挂载一个目录,让其他容器继承自该容器( --volume-from )。 通过简单方式实现数据卷配置1、为什么会有数据卷:1、Docker 容器删除后...

2020-03-29 14:45:48 59

原创 docker命令

docker命令1、Docker 进程相关命令启动docker服务:systemctl start docker停止docker服务:systemctl stop docker重启docker服务:systemctl restart docker查看docker服务状态:systemctl status docker设置开机启动docker服务:...

2020-03-29 14:25:38 24

原创 Docker概述

Docker概述:Docker 是一个开源的应用容器引擎诞生于 2013 年初,基于 Go 语言实现, dotCloud 公司出品(后改名为Docker Inc)Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上。容器是完全使用沙箱机制,相互隔离容器性能开销极低。Docker 从 17.03 版本之后分为...

2020-03-29 14:10:48 24

原创 centos7安装Docker

centos7安装Docker# 1、yum 包更新到最新yum update# 2、安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的yum install -y yum-utils device-mapper-persistent-data lvm2# 3、 设置yum源yum-config-...

2020-03-29 14:05:40 31

原创 mysql函数

单行函数 操作数据对象 接受参数返回一个结果 只对一行进行变换 每行返回一个结果 可以嵌套 参数可以是一列或一个值 1、 字符串函数函数 用法 CONCAT(S1,S2,......,Sn) 连接S1,S2,......,Sn为一个字符串 CONCAT_WS(s, S1,S2,......,Sn) 同CONC...

2020-03-27 05:48:58 20

原创 mysql练习

MySQL数据库章节练习准备数据:/*SQLyog Ultimate v11.25 (64 bit)MySQL - 5.5.28 : Database - myemployees**********************************************************************//*!40101 SET NAMES utf8 */;...

2020-03-27 05:13:13 702

原创 mysql基础

1、逻辑运算符xor :当其中一个条件为真,另一个条件为假时才会返回结果得到那些住在Stratford或者出生于1963年的球员的编号、姓名、出生日期,但是不包括那些住在Stratford并且出生于1963年的球员SELECT playerno, name, birth_dateFROM playersWHERE (town = ‘Stratford’ )XOR (year(b...

2020-03-26 23:11:16 21

原创 截图、图片编辑工具fscapture

https://faststone-capture.en.softonic.com

2019-09-17 22:05:04 170

原创 markdown工具typora

https://www.typora.io/

2019-09-17 20:54:35 42

原创 在线思维导图工具

https://mm.edrawsoft.cn/files

2019-09-17 19:33:40 65

原创 jointjs+vue实现简单的画图工具

效果图:部分功能说明:拖拽左侧的图形到中间界面双击图形删除右下角鼠标拖拽修改图形大小单击图形,编辑界面显示配置信息修改编辑属性,再按enter对图形的属性进行修改,并立即可以查看效果,文字大小修改不生效(不知道原因)点击放大、缩小按钮对图形整体放大、缩小图形整体移动功能点击清空按钮,清空中间的所有图形代码:<template xmlns="h...

2019-09-16 18:15:41 2780 2

原创 JS鼠标拖拽改变方形的长宽

拖拽改变物体大小功能:拖拽黄色小div来改变绿色大div的宽和高主要实现由三大步:1.通过id获取到大小两个div2.给小div添加onmousedown事件3.在onmousedown事件给document添加onmousemove和onmouseup事件由分析图可知,我们只需要在拖拽的时候,获取到物体不断增加的宽度值,问题就解决了html代码:&lt...

2019-09-16 13:49:19 144

原创 vue2.0获取鼠标位置

<!DOCTYPE html><html><head><meta charset="UTF-8"><title></title><script type="text/javascript" src="js/vue.js" ></script><style>#canvas{w...

2019-09-16 13:42:16 116

原创 getBoundingClientRect()用于获得页面中某个元素的左,上,右和下分别相对浏览器视窗的位置

getClientRects() 和 getBoundingClientRect() 的用法和区别getClientRects()getClientRects()的作用是获取元素占据页面的所有矩形区域:var rectCollection = object.getClientRects();getClientRects()返回一个TextRectangle集合,就是Tex...

2019-09-13 23:59:57 84

原创 jointjs双击删除

var paper = new joint.dia.Paper({ el: document.getElementById('paper-events-custom-view-events-propagation'), model: graph, width: 600, ...

2019-09-12 15:40:18 138

原创 jonitjs图形嵌套

<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> </head> <body> <div id="paper-reparenting"&g...

2019-09-12 15:30:02 51

原创 vue this

开发环境:javascript情况一:对象下的函数中//test.jsvar out = { function inner(){ this }}此时函数中的this表示out对象。情况二:函数中//test.jsfunction inner(){ this}此时函数中的this表示全局对象window开发环境:Vue情况一:v...

2019-09-11 08:51:28 19

原创 css

z-index 属性设置元素的堆叠顺序。拥有更高堆叠顺序的元素总是会处于堆叠顺序较低的元素的前面z-index:99级别较高

2019-09-10 21:17:57 23

原创 jointjs

鼠标事件:捕获当前鼠标在哪个单元格paper.on('cell:pointerdown', function(cellView, evt, x, y) {var cell = cellView.model; //获取当前单元格,比如矩形console.log(cell.get("size"))//获取矩形的长宽console.log(cell.get("size").height...

2019-09-10 16:12:04 69

原创 java时间格式化后传到前端

java 关于时间返回结果与参数的注解@DatetimeFormat和@JsonFormat时间是一个比较常用的类型。显示的时候通常是以String显示的。如果前端参数,前端人员也希望用String作为参数常用注解@DatetimeFormat是将String转换成Date,一般前台给后台传值时用@JsonFormat(pattern="yyyy-MM-dd") 将Date转换成...

2019-09-02 09:37:23 441

原创 js常用方法

使用ES6中的字符串新方法String.prototype.padStart(maxLength, fillString='') 或 String.prototype.padEnd(maxLength, fillString='')来填充字符串;dateFormat: function (dateStr, pattern = '') { // 根据给定的时间字符串,得到...

2019-08-25 13:05:02 21

原创 线上服务器CPU占用率高怎么办

线上服务器CPU占用率高怎么办? 如果线上服务器发生CPU占用率高时,应该如何排查并定位问题。 1、问题发现 本文整理自一个真实的案例,是楼主负责的业务,在一次大促之前的压测时发现了这个问题。 在每次大促之前,我们的测试人员都会对网站进行压力测试,这个时候会查看服务的cpu、内存、load、rt、qps等指标。 在一次压测过程中,测试人员发现我们的某一个接...

2019-08-21 11:26:05 45

原创 RocketMQ发布编写ACL性能测试脚本报错unable to calculate a request signature. error=Algorithm HmacSHA1

RocketMQ发布编写性能测试脚本报错unable to calculate a request signature. error=Algorithm HmacSHA1RocketMQ版本4.5.2/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor li...

2019-08-20 13:24:35 1025

idea vuejs插件

idea vuejs插件

2019-05-27

apache-jmeter-2.13

apache jmeter 2.13 zip apache jmeter 2.13 zip apache jmeter 2.13 zip apache jmeter 2.13 zip apache jmeter 2.13 zip apache jmeter 2.13 zip apache jmeter 2.13 zip

2017-09-20

eclipse的svn插件可支持Neon及以上版本

下载之后解压放到eclipse目录的dropins下即可。例如 eclipse/dropins/svnxxx/所有的插件文件

2017-02-21

很全的IBM WebSphere MQ 错误码大全

很全的IBM WebSphere MQ 错误码大全

2016-05-16

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除