2019年04月_xiaozm1223

原创 QueryBuilder构造ES查询条件精准匹配、模糊搜索、in、范围查询 and or

package com.xzm.es;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.Iterator;import java.util.Map.Entry;import org.elasticsearch.action.ListenableActionFuture;im...

2019-04-11 14:47:40 48508 2

原创基于切面技术，实现全局的入参校验工作（底层还是依赖于BeanValidator），结合前面的全局异常处理机制，完美！！！

步骤一：实现切面类package com.jinp.jx.vediobigdata.common.bean;import com.jinp.jx.vediobigdata.common.exception.BusinessException;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.Asp...

2019-04-29 15:07:31 272

原创 spring boot 集成多个kafka集群

有时候我们的集成软件需要在项目中集成多个kafka集群，实现步骤如下：步骤一：配置第二个kafka文件步骤二：定义第二个kafka的实现类/** * @Description: <br> * @Project: <br> * @CreateDate: Created in 2019/4/26 18:20 <br> * @Autho...

2019-04-29 11:22:20 11156

原创数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets

工具比对：Kettle（传统的ETL工具）特性：纯Java编写优点：可在Windows、linux、Unix上执行；数据抽取高效稳定；子组件spoon有丰富的Steps可以开发复杂业务逻辑场景，方便实现全量、增量同步；缺点：通过定时运行，实时性较差；组成部分：Spoon：允许使用图形化界面实现ETL数据转换过程Pan：批量运行Spoon数据转换过程Chef：job（...

2019-04-29 10:58:21 15395 2

原创 Spring boot中快速集成 kafka

Spring boot中集成 kafka步骤一：通过maven导入依赖<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency>步骤二...

2019-04-25 16:38:14 184

原创 kafka常用指令总结

一：学习地址：1)Kafka官网：http://kafka.apache.org/2)下载地址：http://kafka.apache.org/downloads3)客户端库：https://cwiki.apache.org/confluence/display/KAFKA/Clients4)librdkafka库：https://github.com/edenhill/l...

2019-04-25 16:07:10 177

转载 Kafka介绍, kafka主题的副本机制

1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记...

2019-04-25 11:42:09 245

原创 kibana官网指导手册

https://www.elastic.co/guide/cn/kibana/current/visualize.html

2019-04-23 16:55:49 3454

转载 Kibana使用教程

Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询...

2019-04-23 16:13:56 88922 2

原创 Netty初始（IO复用及Reactor线程模型）

Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。Netty是对Java自带的NIO的封装。虽然Java自带了网络应用程序的API，但是存在一系列问题，主要体现如下：使用复杂：NIO 的类库和 API 繁杂，使用麻烦。你需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。...

2019-04-19 15:12:10 592

转载 spring boot 日志打印mybatis sql

我的做法是：<root level="DEBUG"> <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE"/> </root>Spring Boot-日志配置(超详细)更新日志：20170810 更新通过 application.yml传递参数到 logback 中。Spring ...

2019-04-18 18:17:29 249

原创 elasticsearch为什么比关系型数据库快

要知道eselasticsearch为什么比关系型数据库快的原因必须先了解2者建立索引的过程ES建立索引的过程（原理是基于lucene的倒排索引）第一步：分词、倒排索引（每一个词都有自己的倒排索引的list）原始文档如下：索引后：注意：18,20这些叫做 term，而[1,3]就是posting list第二步：对team进行排序，通过二分查找形成 t...

2019-04-17 11:55:35 7849 2

原创 spark初识

Spark只是一个通用计算框架，是一个大一统的软件技术栈，设计方方面面的知识，它的价值在与利用它实现的应用。Spark vs Apache的MapReduce，基于内存的运算，使得spark的速度更快；丰富的API带来了更强大的易用性；spark不仅仅支持批处理任务，更支持交互式查询、流式计算、机器学习和图形计算等各种应用，满足不同应用场景下的需求。对应着spark的3个优点：1 易用性，...

2019-04-13 17:34:10 170

原创数据仓库-HIVE初识

建立数据仓库的目的是将各业务系统中的数据进行多维度的抽取、汇聚以实现不同的目的，主要用于统计、BI等。数据仓库是一个从整体着手，然后逐步解决细节问题的体系结构，它是伴随着信息与决策支持系统诞生的，主要特性是：面向主题、数据集成（统一编码和规范）、非易失、随时间变化。建立过程：建主题--建表--迁移数据--分析数据仓库存储的数据颗粒度很重要:高科粒度（低细节，统计数据），低颗粒度（每一条...

2019-04-13 17:33:14 110

原创 Java Web全局统一异常处理

1 Java异常分类如下：2 为什么要用统一的异常处理机制在开发过程中，我们经常会遇到异常，不管是DAO、SERVICE、Controller那一层都有可能发生，对于异常处理，正常同时是try－catch或者直接throw出去不管了，这就导致了代码中四处散落着try－catch的代码，系统的代码耦合度高，工作量大且不好统一，维护的工作量也很大。那么，能不能将所有类型的异常处理从各...

2019-04-12 14:47:36 3383

原创 Swagger2常用注解说明

@Api：用在请求的类上，表示对类的说明：常用参数： tags="说明该类的作用，非空时将覆盖value的值" value="描述类的作用" 其他参数： description 对api资源的描述，在1.5版本后不再支持 basePath 基本路径可以不配置，在1.5版本后不再支持 ...

2019-04-05 13:41:00 241

原创 swagger2中不显示的常见原因：swagger2中如何匹配多个controller的正确写法

方法一：使用多个controller的共同拥有的父类，即精确到两个controller的上一级@Beanpublic Docket createRestApi() { return new Docket(DocumentationType.SWAGGER_2) .apiInfo(apiInfo()) .select() ...

2019-04-04 15:43:33 5430

原创 spring boot2集成swagger2自动生成API接口文档

步骤一：导入依赖，注意SWAGGER和UI最好保持版本一致，否则可能会遇到不同的坑<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger-ui</artifactId> ...

2019-04-04 14:47:15 2167

原创 IDEA创建类模板和方法模板

2019-04-03 16:52:14 877

原创本地jar导入到本地或者私服的maven库中

我们在开发的过程中，有时候会遇到对方提供的是jar包，我们通过maven无法编译通过的问题，并且后续的发布也比较麻烦，所以我们需要将这些jar包发布到maven库中。发布步骤如下：1 将jar放到本地文件夹中，eg：我放在本地 E:\outjar\ 中，注意：路径中最好不要有特殊字符，jar包名称为artemis-http-client-1.0-SNAPSHOT.jar，2 自定义...

2019-04-03 10:53:12 1396

xiaozm1223的博客