自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 QueryBuilder构造ES查询条件 精准匹配、模糊搜索、in、范围查询 and or

package com.xzm.es; import java.net.InetSocketAddress; import java.util.ArrayList; import java.util.Iterator; import java.util.Map.Entry; import or...

2019-04-11 14:47:40

阅读数 3589

评论数 0

原创 解决分布式事务的问题

理论说明: 1 数据库的2阶段提交协议(2PC或者称为XA Transactions): 第一阶段:事务协调器要求涉及事务的数据库都预提交,并反馈是否可以提交 第二阶段:事务协调器要求每个数据库提交/回滚数据 2 BASE理论(对CAP进一步补充): Basically Availabl...

2019-03-26 16:07:26

阅读数 64

评论数 0

原创 Redis雪崩、穿透、更新

一、缓存雪崩 1.1什么是缓存雪崩? 回顾一下我们为什么要用缓存(Redis): 现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了。 在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的...

2019-03-25 15:02:28

阅读数 52

评论数 0

原创 spring boot 打包时跳过test环节实现快速打包

在pom.xml中加入如下一段配置信息: <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</art...

2020-01-07 10:33:15

阅读数 9

评论数 0

原创 spring boot 日志(logback)

目前常用的日志框架有:log4j、log4j2、logback,注意slj4f是一种规范而不是一个框架,只要是符合它规范的都可以用它调用。 由于spring boot默认采用的就是logback的日志框架,所以我项目中都是使用的logback,下面详细介绍logback的应用。 步骤一:配置日...

2020-01-07 10:26:52

阅读数 3

评论数 0

原创 linux openjdk 安装

openjdk 和 jdk 的区别:(对于使用者在服务器上部署环境变量而言没有区别) 授权协议的不同: openjdk采用GPL V2协议放出,而JDK则采用JRL放出。两者协议虽然都是开放源代码的,但是在使用上的不同在于GPL V2允许在商业上使用,而JRL只允许个人研究使用。 OpenJD...

2020-01-05 23:40:51

阅读数 9

评论数 0

原创 在阿里云一键安装快速部署Oracle11g

环境准备: 1. 购买阿里云ECS服务器(必须) 计费方式:可选包年包月,按量付费(用一小时算一小时价格),建议业务量较多的的,数据库要一直在线的,选包年包月。 地域选择:和你的应用服务器,最好是在同一个可用区(访问速度最快),也可以同一地域,不同可用区,用于多机房部署的情况。...

2019-10-31 01:14:24

阅读数 50

评论数 0

原创 常用Linux指令

指令一:查询Linux剩余空间: df -k:以KB为单位显示磁盘使用量和占用率 df -m:以Mb为单位显示磁盘使用量和占用率

2019-09-10 17:53:29

阅读数 24

评论数 0

原创 git常见指令

1 常用 $ git remote add origin git@github.com:yeszao/dofiler.git # 配置远程git版本库 $ git pull origin master ...

2019-07-16 09:13:33

阅读数 17

评论数 0

原创 Consul集群搭建

Consul简介: 2018年6月28号eureka官方正式宣布:自2.0起不再维护该项目,并在github 项目wiki上放出了一段吓唬人的话:从2.x起,官方不会继续开发了,如果需要使用2.x,风险自负。 目前业内服务注册中心的替代方案是consul。 Consul原理: cons...

2019-07-06 09:38:41

阅读数 640

评论数 0

原创 gitlab搭建

Git的家族成员 Git:是一种版本控制系统,是一个命令,是一种工具。 Gitlib:是用于实现Git功能的开发库。 Github:是一个基于Git实现的在线代码托管仓库,包含一个网站界面,向互联网开放。 GitLab:是一个基于Git实现的在线代码仓库托管软件,你可以用gitlab自己搭...

2019-07-06 09:32:44

阅读数 836

评论数 0

原创 idea永不过期(给自己做备忘)

1 找到破解补丁,如下: 2 将补丁放到idea bin目录下: 3 修改配置文件: idea.exe.vmoptions idea64.exe.vmoptions

2019-07-01 08:43:24

阅读数 85

评论数 0

原创 react native常见问题解决

1错误:Commandrun-androidunrecognized. Make sure that you have runnpm installand that you are inside a react-native project. 解决办法 执行命令 yarn add react-n...

2019-05-26 22:22:36

阅读数 24

评论数 0

转载 PowerDesigner逆向导入Oracle、Mysql数据库并显示中文注释

转载自: https://blog.csdn.net/u011781521/article/details/78960083(oracle) https://blog.csdn.net/u011781521/article/details/78958529(mysql) 一、简介 Powe...

2019-05-17 16:51:26

阅读数 91

评论数 0

原创 nginx--前端文件存储服务器

知识点一:location配置 location /img/ { alias /var/www/image/; } #若按照上述配置的话,则访问/img/目录里面的文件时,ningx会自动去/var/www/image/目录找文件 location /img/ { root...

2019-05-16 22:14:20

阅读数 180

评论数 0

转载 SpringBoot解决ajax跨域问题(转载)

一、第一种方式: 1、编写一个支持跨域请求的 Configuration import org.springframework.context.annotation.Configuration; import org.springframework.web.servlet.config....

2019-05-07 11:44:00

阅读数 20

评论数 0

原创 springboot集成mybatis多数据源,小驼峰配置,字符串为空判断

集成步骤: 步骤一:多数据源pom引入 <!-- PERSISTENCE begin --> <dependency> <groupId>org.springframework.boot</groupId> <artifa...

2019-05-05 15:48:46

阅读数 174

评论数 0

原创 基于切面技术,实现全局的入参校验工作(底层还是依赖于BeanValidator),结合前面的全局异常处理机制,完美!!!

步骤一:实现切面类 package com.jinp.jx.vediobigdata.common.bean; import com.jinp.jx.vediobigdata.common.exception.BusinessException; import org.aspectj.lan...

2019-04-29 15:07:31

阅读数 58

评论数 0

原创 spring boot 集成多个kafka集群

有时候我们的集成软件需要在项目中集成多个kafka集群,实现步骤如下: 步骤一:配置第二个kafka文件 步骤二:定义第二个kafka的实现类 /** * @Description: <br> * @Project: <br> * @CreateDa...

2019-04-29 11:22:20

阅读数 1769

评论数 0

原创 数据抽取工具比对:Kettle、Datax、Sqoop、StreamSets

工具比对: Kettle(传统的ETL工具) 特性:纯Java编写 优点:可在Windows、linux、Unix上执行;数据抽取高效稳定;子组件spoon有丰富的Steps可以开发复杂业务逻辑场景,方便实现全量、增量同步; 缺点:通过定时运行,实时性较差; 组成部分: Spoon:允...

2019-04-29 10:58:21

阅读数 2471

评论数 1

原创 Spring boot中快速集成 kafka

Spring boot中集成 kafka 步骤一:通过maven导入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka<...

2019-04-25 16:38:14

阅读数 76

评论数 0

原创 kafka常用指令总结

一:学习地址: 1)Kafka官网:http://kafka.apache.org/ 2)下载地址:http://kafka.apache.org/downloads 3)客户端库:https://cwiki.apache.org/confluence/display/KAFKA/Clien...

2019-04-25 16:07:10

阅读数 38

评论数 0

转载 Kafka介绍, kafka主题的副本机制

1、Kafka概览 Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台,它的流行是因为卡夫卡系统的设计和操作简单,能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量,因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端,再通...

2019-04-25 11:42:09

阅读数 50

评论数 0

原创 kibana官网指导手册

https://www.elastic.co/guide/cn/kibana/current/visualize.html

2019-04-23 16:55:49

阅读数 390

评论数 0

转载 Kibana使用教程

Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。 你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。 你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。 Kibana使得理解大量数据变得很容...

2019-04-23 16:13:56

阅读数 5645

评论数 0

原创 Netty初始(IO复用及Reactor线程模型)

Netty 是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是对Java自带的NIO的封装。虽然Java自带了网络应用程序的API,但是存在一系列问题,主要体现如下: 使用复杂:NIO 的类库和 API 繁杂,使用麻烦。你需要熟练掌握 Selec...

2019-04-19 15:12:10

阅读数 182

评论数 0

转载 spring boot 日志 打印mybatis sql

我的做法是:<root level="DEBUG"> <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE"/> </root> Sp...

2019-04-18 18:17:29

阅读数 16

评论数 0

原创 elasticsearch为什么比关系型数据库快

要知道eselasticsearch为什么比关系型数据库快的原因必须先了解2者建立索引的过程 ES建立索引的过程(原理是基于lucene的倒排索引) 第一步:分词、倒排索引(每一个词都有自己的倒排索引的list) 原始文档如下: 索引后: 注意:18,20这些叫做 term,...

2019-04-17 11:55:35

阅读数 1070

评论数 1

原创 spark初识

Spark只是一个通用计算框架,是一个大一统的软件技术栈,设计方方面面的知识,它的价值在与利用它实现的应用。 Spark vs Apache的MapReduce,基于内存的运算,使得spark的速度更快;丰富的API带来了更强大的易用性;spark不仅仅支持批处理任务,更支持交互式查询、流式计算...

2019-04-13 17:34:10

阅读数 26

评论数 0

原创 数据仓库-HIVE初识

建立数据仓库的目的是将各业务系统中的数据进行多维度的抽取、汇聚以实现不同的目的,主要用于统计、BI等。 数据仓库是一个从整体着手,然后逐步解决细节问题的体系结构,它是伴随着信息与决策支持系统诞生的,主要特性是:面向主题、数据集成(统一编码和规范)、非易失、随时间变化。 建立过程:建主题--建表...

2019-04-13 17:33:14

阅读数 17

评论数 0

原创 Java Web全局统一异常处理

1 Java异常分类如下: 2 为什么要用统一的异常处理机制 在开发过程中,我们经常会遇到异常,不管是DAO、SERVICE、Controller那一层都有可能发生,对于异常处理,正常同时是try-catch或者直接throw出去不管了,这就导致了代码中四处散落着try-catch的代码,...

2019-04-12 14:47:36

阅读数 504

评论数 0

原创 Swagger2常用注解说明

@Api:用在请求的类上,表示对类的说明: 常用参数: tags="说明该类的作用,非空时将覆盖value的值" value="描述类的作用" 其他参数: description 对api资...

2019-04-05 13:41:00

阅读数 94

评论数 0

原创 swagger2中不显示的常见原因:swagger2中如何匹配多个controller的正确写法

方法一:使用多个controller的共同拥有的父类,即精确到两个controller的上一级 @Bean public Docket createRestApi() { return new Docket(DocumentationType.SWAGGER_2) ...

2019-04-04 15:43:33

阅读数 1724

评论数 0

原创 spring boot2集成swagger2自动生成API接口文档

步骤一:导入依赖,注意SWAGGER和UI最好保持版本一致,否则可能会遇到不同的坑 <!-- swagger-ui --> <dependency> <groupId>io.springfox</groupId> <arti...

2019-04-04 14:47:15

阅读数 455

评论数 0

原创 IDEA创建类模板和方法模板

写代码是少不了注释的,但是自带的注释就几个,所以使用注释模板添加自定义的注释是个非常好用的功能 创建类模板 按照顺序打开File–>settings–>Editor–>File and Code Templates–>Includes 输入类注释模板 /** * 湖...

2019-04-03 16:52:14

阅读数 191

评论数 0

原创 本地jar导入到本地或者私服的maven库中

我们在开发的过程中,有时候会遇到对方提供的是jar包,我们通过maven无法编译通过的问题,并且后续的发布也比较麻烦,所以我们需要将这些jar包发布到maven库中。 发布步骤如下: 1 将jar放到本地文件夹中,eg:我放在本地 E:\outjar\ 中,注意:路径中最好不要有特殊字符,ja...

2019-04-03 10:53:12

阅读数 311

评论数 0

转载 MQ(事务消息)(将本地消息放到消息队列中)

举个例子,Bob向Smith转账,那我们到底是先发送消息,还是先执行扣款操作? 好像都可能会出问题。如果先发消息,扣款操作失败,那么Smith的账户里面会多出一笔钱。反过来,如果先执行扣款操作,后发送消息,那有可能扣款成功了但是消息没发出去,Smith收不到钱。除了上面介绍的通过异常捕获和回滚的...

2019-03-30 02:26:45

阅读数 166

评论数 0

转载 MQ(非事务消息)

通常情况下,在使用非事务消息支持的MQ产品时,我们很难将业务操作与对MQ的操作放在一个本地事务域中管理。通俗点描述,还是以上述提到的“跨行转账”为例,我们很难保证在扣款完成之后对MQ投递消息的操作就一定能成功。这样一致性似乎很难保证。 先从消息生产者这端来分析,请看伪代码: 根据上述代码及注释...

2019-03-30 02:24:06

阅读数 44

评论数 0

原创 本地消息表(最常用的解决方案)

最初是由ebay提出的。 核心是把大事务转变为小事务,逻辑如下: 举例说明:我拿100元去买一瓶水 1.当你扣钱的时候,你需要在你扣钱的服务器上新增加一个本地消息表,你需要把你扣钱和减去水的库存写入到本地消息表,放入同一个事务(依靠数据库本地事务保证一致性)。 2.这个时候有个定时任务...

2019-03-30 01:58:04

阅读数 453

评论数 0

转载 补偿事务(TCC)

TCC(Try-Confirm-Cancel): Try 阶段:尝试执行,完成所有业务检查(一致性),预留必需业务资源(准隔离性)。 Confirm 阶段:确认真正执行业务,不作任何业务检查,只使用 Try 阶段预留的业务资源,Confirm 操作满足幂等性。要求具备幂等设计,Confirm ...

2019-03-30 00:07:29

阅读数 359

评论数 0

提示
确定要删除当前文章?
取消 删除