犀牛饲养员

写在前面2017年1月爆发了Elasticsearch数据勒索事件，涉及到的数据至少500亿条，被删除数据至少450TB。如何提高Elasticsearch应用的安全性，是开发者和客户都面临的重要问题。本文针对ES集群的安全防护提出几个方案，当然并不说只有这些方案，仅仅是个人的一些经验而已。用户角色和权限管理这个方案用来控制用户在 Elasticsearch中的权限。通过设置不同的角色，然后把对应的功能分配给不同的角色，再赋予不同用户不同角色。这样可以达到为不同的用户开通不同操作权限的目的。比如可

什么是bulk操作bulk是批量的意思，也就是把原来单个的操作打包好，通过批量的api提交到ES集群。下面是个示例：单个操作：PUT my-index-000001/_doc/1{ "@timestamp": "2099-11-15T13:12:00", "message": "GET /search HTTP/1.1 200 1070000", "user": { "id": "kimchy" }}bulk操作：POST _bulk{ "index" : { "_

什么是相关性首先需要了解什么是相关性？默认情况下，搜索返回的结果是按照 相关性 进行排序的，也就是最相关的文档排在最前。相关性是由一个所谓的打分机制决定的，每个文档在搜索过程中都会被计算一个_score字段，这是一个浮点数类型，值越高表示分数越高，也就是相关性越大。具体的评分算法不是本文的重点，但是我们可以通过一个查询示例了解下评分的过程。ES对于一次搜索请求提供了一种explain的机制，设置为true的情况下，查询结果会额外输出一些信息，我们一起来看下这些信息。查询的demo是，GET kiba

一文带你彻底搞懂Elasticsearch中的模糊查询写在前面Elasticsearch（以下简称ES）中的模糊查询官方是建议慎用的，因为的它的性能不是特别好。不过这个性能不好是相对ES自身的其它查询（term，match）而言的，如果跟其它的搜索工具相比ES的模糊查询性能还是不错的。ES都多种方法可以支持模糊查询，比如wildcard，query_string等，这篇文章可能是全网最全的关于模糊查询的技术博客（哈哈）。可以支持模糊查询的方案wildcardwildcard的用法是这样的，GE

Elasticsearch（以下简称ES）里的source字段用来存储文档的原始信息，默认是开启的。因为大部分场景下我们都需要这个字段，有时候反而容易被忽略。这篇文章尽量详细说说关于source的相关知识点。比如我们写入两篇文档，PUT student/_doc/1{ "name":"Jack", "age": 15, "like": "hiking,basketball"}PUT student/_doc/2{ "name":"Tom", "age": 16, "l

概念介绍function_score查询可以在原有的查询结果算分的基础上，对每个文档计算一个新的算分，而计算的规则取决于应用的具体的funcion以及相关的一些选项。看一个例子，GET kibana_sample_data_ecommerce/_search?{ "query": { "function_score": { "query": { "match": { "manufacturer": "Elitelligence"

初学者认为这两个关键字的没啥关系，一个是用于字符串的精确匹配查询，一个是数字类型的字段用在计数的场景，比如说博客的点赞数，订单金额等。但是有些场景似乎两个关键字都可以用，比如电商场景下的订单状态，一般我们也是用数字表示不同的状态，比如1表示待支付，2表示支付成功。第一反应是用Byte（属于numeric），没有问题。但是用keyword是否可以呢？numeric除了支持等值精确查询，还可以范围查询。但是大部分情况下我们业务场景对于订单状态的使用都是精确查询的，不会有大于某个状态或者小于某个状态这样的情况

ES源码分析-关于actionES源码版本 7.10启动过程中的action比如我们有个搜索请求：curl -X GET "localhost:9200/blogs/_search?pretty" -H 'Content-Type: application/json' -d'{ "query": { "function_score": { "query": { "match": { "content": "elasticsearch"

文章目录前言方案一、多端口本地模拟集群方案二、使用docker本地搭建集群前言正所谓工欲善其事必先利其器，因为ES认证考试都是实操题目，想要考出一个好成绩必须具备一个集群环境可以实操练习。我猜想应该很多人没有条件操作真实的集群环境，所以准备一个本地的伪集群环境是必不可少的。我准备考试的时候，ES官方指引上写明了考试的版本是ES7.2，所以我下面也是用这个版本为例说明如何在本地搭建集群环境。之所以叫伪集群，是因为它不是真实的多节点集群。而是本地电脑通过一些手段模拟出的集群架构。我打算介绍两种本地搭建

关于堆内存大小的设置ES官方建议JVM中设置的最大堆内存大小，不超过节点RAM的一半，最大不超过32GB,并且Xms和Xmx相等。我们一个个说明。首先为啥建议Xms和Xmx相等，这其实是个约定的配置了。并不仅限于ES，很多基于JAVA的服务在生产环境中都是建议这个配置。核心的原因在于减少JVM的时间开销，因为当Xms不够用时，JVM会继续想OS申请内存，这必然会带来额外的时间开销。如果你预测你的应用最终差不多用到Xmx，把这两个值设置成一样是个比较好的选择。不超过系统RAM的一半，这个主要是出于文件系

背景双十一之前检查下服务，通过监控的GC日志发现我们有个订单的服务Young GC时间似乎有点过长，有很多都到达秒级别了。 平时运行着其实还好也没出啥问题。但是考虑到双十一流量比较大，还是决定关注下这个问题。解决问题我们用的是G1垃圾回收器，我印象中G1是可以配置最大停顿时间的，赶紧去上去容器平台（我们的服务是部署在K8S上的）看了一下，确认了是配置了这个最大时间的停顿目标。-XX:MaxGCPauseMillis我们都知道GC停顿时间（stop the world）是垃圾回收器的一个非常重要的

今天通过了Elasticsearch的官方工程师认证考试，还是非常兴奋的。确实，能够成为一名 Elastic 认证工程师也是很多开发者的梦想。因为这个认证本身难度非常高，考察点涉及ES知识的方方面面，包括集群，搜索，聚合，索引设计等非常全面，而且全部是实操题目。平时工作中没有实操经验可以肯定是通不过的。这是 Elastic 的最高认证，在业界大家也比较认可。对于我自身来说，拿到这个认证使我更加有动力，有积极性在ES领域持续的深耕，学习！下面晒晒我的徽章。后面我准备写一个系列文章，把自己在准备ES认证

写在前面很多人都知道HashMap是非线程安全的。比如下面这段代码，多运行几次，基本每次会抛出异常：final Map<Integer, String> map = new HashMap<>(); long count = 0; final Integer targetKey = 0b1111_1111_1111_1111; // 65 535 final String targetValue = "v"; m

下面是根据自己工作中的一些经验总结出来一些影响Elasticsearch（以下简称ES）性能的建议。文章目录集群状态信息集群的节点角色禁用内存交换利用doc values集群分配相关的属性集群回复相关的一些属性线程池属性防止数据丢失集群状态信息大部分人会注意到索引，分片的大小。我们在官网或者很多博客文章上都能看到建议的分片大小。但是集群的状态信息大小往往容易被忽略。集群的状态信息保存着所有索引的mapping信息（当然还有其它信息）。如果mapping定义的过大会导致状态信息过大。而这些状态信息会在

写在前面ES内置的token filter很多，大部分实际工作中都用不到。这段时间准备ES认证工程师的考试，备考的时候需要熟悉这些不常用的filter。ES官方对一些filter只是一笔带过，我就想着把备考的笔记整理成博客备忘，也希望能帮助到有这方面需求的人。length filer官方解释：A token filter of type length that removes words that are too long or too short for the stream.这个filte

【netty in action】学习笔记-第五章本章涉及的内容：ByteBufByteBufHolderByteBufAllocator基本介绍开头几段就是告诉你，netty的ByteBuf相比较JDK的ByteBuffer很牛逼，JDK的缺点它都没有，然后还比JDK的优点多。netty的ByteBuf内部使用引用计数的机制，内部可以自动处理资源的释放。不过尽管如此，在应用层你也应该今早释放不再使用的资源。总结下优势：可以自定义缓冲类型通过一个内置的复合缓冲类型实现零拷贝扩展性好

写在前面有一个问题被关注的比较少，就是ES对本地磁盘的占用情况。有人可能觉得这个问题的答案显而易见，不就是ES软件本身占用的空间，还有索引数据持久化占用的磁盘空间，另外就是一些日志了。事实上，关于ES占用磁盘空间的问题远比这个要复杂的多。本篇文章就想聚焦这个问题，深入ES的底层原理来分析磁盘的占用情况。正文是否执行分析首先对于一个索引，其中的字段在写入是，写入分析对磁盘是有影响的。那么什么是写入分析? 当我们index一个文档时，如果不指定分析器，默认使用的是standard，可以做个测试，看下默

本篇是有一个问题引出的，在ES中文论坛看到这个样一个问题：es存储的某一个字段值为数组，现搜索的时候需要搜索出结果该字段值为空或包含某几个值的数据，该怎么写例如： “job_type” : [“12”,“49”,“67”] 或者 “job_type” : [ ]需要搜出job_type中包含49的或者为空的数据这个问题其实涉及好几个相关的知识点。ES对于数组类型的写入和查询是怎样的如何查询数组为空的记录在ES中，没有专门的数组数据类型，但是默认情况下，任意一个字段都可以包含0或多个值，

现在越来越多海量的数据需要被传输，存储，管理和分析。只有那些具备分布式和并行处理能力的系统才能担此大任。而这其中就有一款开源产品叫Elasticsearch（以下简称ES）。本文主要关注如何通过配置（包括索引维度，集群维度等）来优化ES的查询性能。索引配置ES默认给每个索引分配5个主分片和1个副本分片。这样的配置并不能适配所有的业务场景，我们需要根据实际情况进行配置。物理限制分片的大小对查询效率的影响是非常大的。如果一个索引上有很多非常小的分片，这些分片上的segment容易增长的过快最终超过限制

netty提供了统一的API进行传输数据，这个相比于JDK的方式方便很多。比如下面是一个不用netty而使用原生的阻塞IO进行传输的例子。public class PlainOioServer { public void serve(int port) throws IOException { final ServerSocket socket = new ServerSocket(port); try { for(;;) {

写在前面Elasticsearch(以下简称ES)有个copy_to的功能，之前在一个项目中用到，感觉像是发现了一个神器。这个东西并不是像有些人说的是个语法糖。它用好了不但能提高检索的效率，还可以简化查询语句。基本用法介绍直接上示例。先看看mapping，PUT my_index{ "mappings": { "properties": { "first_name": { "type": "text", "copy_to": "full_n

【netty in action】学习笔记-第三章netty程序起源于一个名叫bootstrap的类，你可以把它看成一个启动程序，netty通过它隐藏了很多启动的细节。netty可以支持很多协议和处理数据的方式，这一切得益于netty里的一个核心概念handlers，也就是各种各样的handler组成的集合。比如像我这钱做个基于nio的网络编程，网络编程里面经常遇到的一个问题就是拆包，粘包的概念。如下图所示：正常情况下，服务端先收到packet2处理，然后收到packet1处理。这样没有问题。当时由

写在前面最近遇到了一个坑，给大家分享下。有个项目，利用redis做统计功能。一向对性能追求极致的我怎么能随便写几条redis的统计语句就应付呢。于是我打算使用lua脚本把用到的几条redis指令封装一起，这样减少和redis的IO交互，还可以保证操作原子性。我为自己的聪明才智沾沾自喜。脚本如下（下面并不是我项目中实际的脚本，做了一些修改，大家不用纠结语法和能否运行。不过不影响本文的分析）：private final static String luaScript = "re

【netty in action】学习笔记-第二章 编写你的第一个netty程序这一章简单粗暴，整个章节都是讲一个例子，例子很简单，但是麻雀虽小五脏俱全。通过这个示例你会对编写基于netty的应用程序有个直观的认识。我先上代码，后面再分析。先看看服务端的示例，public class EchoServer { public int port; public EchoServer(int port) { this.port = port; } pub

【netty in action】学习笔记-第一章 了解java NIO（2）上一篇文章了解了java nio的一些特性和基本用法。本篇继续来看看java nio有哪些问题以及netty如何解决这些问题。跨平台和兼容性问题java nio有nio和nio2两个版本，后者只支持jdk7。而且java nio本身属于比较low level的api，有时候会遇到在linux运行良好但是在windows上却有问题。netty提供统一的api，你不需要关注java的版本，也不需要关注操作系统。ByteBuf

【netty in action】学习笔记-第一章 了解java NIO（1）学习netty，java nio是基础，因为前者是对后者的封装，当然又不只是封装。随着学习的深入你会理解这句话的含义。下图是netty的架构图，让你对netty涉及的模型，传输，协议有个基本印象。netty的特性可以总结为一下几点：统计的API操作阻塞和非阻塞的socket接口易用线程模型简单而强大链式调用逻辑，复用性搞高文档和示例丰富除了JDK之外不依赖别的组件相比于java api有更好的吞吐量以及低延

写在前面使用elasticsearch(以下简称ES)也有挺长时间了，一直想找机会深入源码研究下。我看源码有个习惯，就是一定要运行起来。不是只把源码下载下来看看就行的。搭建整个调试环境几乎花了一整天的功夫，这里记录下，希望能帮到需要的人。环境介绍MAC Mojave系统idea 2019.2JDK版本： jdk12elasticsearch 版本：7.1.0gradle 版本：5.2.1源码下载可以直接去github下载指定release版本的源码，也可以直接clone目前的mast

写在前面这两个方法都可以用来提交任务给线程池，但是又有所区别。我们先来看下二者的使用示例，先有个直观认识。execute的使用示例：public class ExecuteTest { private final static ThreadPoolExecutor executor = new ThreadPoolExecutor(0,1,0, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>()); publi

引言千万不要小看代码细节的优化，有时候一个很小的优化就要你的代码执行效率数倍提升，如果这个优化点调用比较频繁，甚至有可能解决你整个系统的性能瓶颈。orElse和orElseGet官方文档上是这么说的，orElse：Return the value if present, otherwise return other.orElseGet：Return the value if present, otherwise invoke other and return the result of that

引言Elasticsearch（以下简称ES）并不像mysql这么容易上手，很多java程序员会觉得ES的java客户端比较难以掌握，尽管ES 7.x官方推荐的high level client已经相对于早期的TransportClient好用很多了。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持，我们几乎可以像操作数据库一样操作ES了。本篇文章是我肝了4个小时写出的文章，希望能对大家有所帮助。看这篇文章的小伙伴，我假设是对ES有基本

之前的文章都是技术相关的，我这个人的性格不喜欢分析太多自己的个人经历上的东西。不过有感于现在的环境，今天想给大家分享几个自己曾经创业踩过的坑。希望能对有创业想法或者已经在创业的道路上折腾的小伙伴有所帮助。坑一、合伙人的目标要一致，必须专注在创业上这句话听起来像是废话，但是要做到其实并没有这么容易。我们当时创业，合伙人有四个。其中一个人是兼职，我姑且成称他为老K。我们其它三个人都是辞掉了工作全心投入到创业中来。老K一般是晚上下了班来我们这边开个会，白天就是从事他的本职工资。刚开始的时候没觉得有啥，.

啥是异步模式kafka的生产者可以选择使用异步方式发送数据，所谓异步方式，就是我们调用 send() 方法，并指定一个回调函数， 服务器在返回响应时调用该函数。kafka在客户端里暴露了两个send方法，我们可以自己选择同步或者异步模式。我们来看一个kafka的生产者发送示例，有个直观的感受。这个示例是一个同步的模式。ProducerRecord<String, String> record = new ProducerRecord<>(“Kafka”, “Kafka_Prod

我本人接触Elasticsearch（一下简称ES）有挺长一段时间了，本文结合自己的一些项目经验，给你总结几个实际项目中比较容易踩到的坑。希望读者能够避免犯这样的错误。坑一，时区问题在我们的项目中，索引下一般都会存在一个时间的字段，这个字段可以用来排序，或者做时间范围查询，或者聚合的场景等都会用到。ES底层默认采用UTC时间格式，而中国的时间(CST)是CST=UTC+8所以实际的项目中经常遇到查询结果和自己期望的不一致。关于时区的问题以及如何解决，我之前专门写了一篇文章，感兴趣的可以看看：E

bool查询简介Elasticsearch(下面简称ES)中的bool查询在业务中使用也是比较多的。在一些非实时的分页查询，导出的场景，我们经常使用bool查询组合各种查询条件。Bool查询包括四种子句，mustfiltershouldmust_not我这里只介绍下must和filter两种子句，因为是我们今天要讲的重点。其它的可以自行查询官方文档。must， 返回的文档必须满足must子句的条件，并且参与计算分值filter， 返回的文档必须满足filter子句的条件。但是跟Mus

引言很多认为Elasticsearch(以下简称ES)，同一个分片的主分片和副本分片文档数量肯定是样的，数据大小也是一样的。这个其实值说对了一半，文档数量是一阳台的没错，但是数据大小不一定一样。产生这种现象的原因在于，主分片和副本分片的segment数量可能不一样。正文我们来看个示例。以下的示例测试环境是ES 7.1.0版本先插入4个文档，PUT my_blog/_doc/1{...

引言我曾经写过一篇文章fastjson远程代码执行漏洞问题分析文章曾经比较详细分析了fastjson在1.2.24以及之前版本存在远程代码执行高危安全漏洞的问题。本文则是针对另一个漏洞的介绍和分析。官方对这次漏洞的说明是这样的：近日，阿里云应急响应中心监测到fastjson爆出远程拒绝服务漏洞，攻击者在请求中构造特定json字符串，可远程造成服务器内存和CPU等资源耗尽，最终拒绝服务...

引言kibana是elasticsearch(以下简称ES)的可视化平台，笔者平时使用kibana的dev tools比较多，在这里可以更便捷的使用ES的各种命令，DSL查询语句等。但是kibana的可视化功能远不止于次。Kibana可以用来搜索，查看ES索引中的数据，可以轻松地进行高级数据分析，并可在各种图表，表格和地图中显示数据。并且可以基于浏览器的界面快速创建和共享动态仪表板，实时反馈E...

文章目录引言分页的几种方案from/size方案search after方案scroll api方案总结引言我们使用mysql的时候经常遇到分页查询的场景，在mysql中使用limit关键字来实现分页。比如下面的示例。select * from orders_history where type=8 limit 100,100;select * from orders_history wh...

1、引言有人可能觉得，查看文档数量不是很简单吗？直接GET /_cat/count/index_name?v不就可以了吗。事实上远不止这么简单，比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。2、正文cat/count首先是最常用的的方式，也是一种快速查询文档的优先推荐方式，cat count api我们使用kibana自带的电商索引来实验。GE...

需求背景很多时候mysql的表之间是一对多的关系，比如订单表和商品表。一笔订单可以包含多个商品。他们的关系如下图所示。ElasticsSearch（以下简称ES）处理这种关系虽然不是特别擅长（相对于关系型数据库），因为ES和大多数 NoSQL 数据库类似，是扁平化的存储结构。索引是独立文档的集合体。不同的索引之间一般是没有关系的。不过ES目前毕竟发展到7.x版本了， 已经有几种可选的方式能...

ES系列之一文带你避开日期类型存在的坑概述时间相关的字段是ElasticsSearch（以下简称ES）最常用的字段了，几乎所有的索引应用场景都会有时间字段，一般用于基于时间范围的搜索，聚合等场景。但是由于时区的问题，相信很多小伙伴都踩到过时间字段的坑，笔者自己就踩过。本文希望给你提供一个避坑指南。了解时区的基本概念因为本文不是专门讲时区的，你只需要了解一些基本的概念就可以了。我们知道...

本篇文章不是讲ElasticSearch（下面简称ES）聚合分析的基本概念和用法的，这些网上的资料很多，不清楚的可以自行查阅。我下面聚合分析使用的数据都是kibana自带的，这样方便有些读者实际测试文中的示例。基本概念ES为了满足搜索的实时性，在聚合分析的一些场景会通过损失精准度的方式加快结果的返回。这其实ES在实时性和精准度中间的权衡。需要明确的是，并不是所有的聚合分析都会损失精准度，比...

笔者做过的一个项目中，同时用到了Elasticsearch和Tidb两种存储相关的产品。这两者适用的场景有些差异，但其实又有交集。前者偏向搜索，后者则主打分布式存储。下面根据自己的理解从不同维度分析下二者的相同点和不同点。对比维度ElasticsearchTiDB产地公司现在的名称是Elastic，其实它的员工遍布世界各地，一般认为公司的总部是阿姆斯特丹公司是PinCa...

背景fastjson远程代码执行安全漏洞(以下简称RCE漏洞)，最早是官方在2017年3月份发出的声明，security_update_20170315没错，强如阿里这样的公司也会有漏洞。代码是人写的，有漏洞是难免的。关键是及时的修复。声明中，官方指出：最近发现fastjson在1.2.24以及之前版本存在远程代码执行高危安全漏洞，为了保证系统安全，请升级到1.2.28/1.2.29...

最近看kafka源码，着实被它的客户端缓冲池技术优雅到了。忍不住要写篇文章赞美一下（哈哈）。注：本文用到的源码来自kafka2.2.2版本。背景当我们应用程序调用kafka客户端 producer发送消息的时候，在kafka客户端内部，会把属于同一个topic分区的消息先汇总起来，形成一个batch。真正发往kafka服务器的消息都是以batch为单位的。如下图所示：这么做的好处显而易见...

背景介绍数据库连接池和线程池等池技术存在的意义都是为了解决资源的重复利用问题。在计算机里，创建一个新的资源往往开销是非常大的。而池技术可以统一分配，管理某一类资源，它允许我们的程序可以重复的使用这个资源，只有在极端情况下（比如连接池满）才会创建新的资源。数据库连接这种资源尤其昂贵，它的创建开销很大，大量的创建连接和释放操作对程序的影响非常明显。数据库连接池正是针对这个问题提出来的。实现原...

文章目录volatile的概念volatile详解什么时候需要使用volatilevolatile在标准库里的应用volatile会降低程序执行的效率volatile不是万能的volatile的概念或者说，volatile解决什么问题？我自己的总结：volatile解决多线程下变量访问的内存可见性问题，用于线程间通信。通信怎能理解呢，线程A写一个volatile变量，随后线程B读这个vol...

概述LinkedBlockingQueue的put,add和offer这三个方法功能很相似，都是往队列尾部添加一个元素。既然都是同样的功能，为啥要有有三个方法呢？这三个方法的区别在于：put方法添加元素，如果队列已满，会阻塞直到有空间可以放add方法在添加元素的时候，若超出了度列的长度会直接抛出异常offer方法添加元素，如果队列已满，直接返回false索引这三种不同的方法在队列满...

基本概念先引用一段官方介绍，ab is a tool for benchmarking your Apache Hypertext Transfer Protocol (HTTP) server. It is designed to give you an impression of how your current Apache installation performs. This es...

基本概念这两个概念比较像，所以大部分时候会放在一起说。这两个概念源于Elasticsearch（后面简称ES）除了强大的搜索功能外，还可以支持排序，聚合之类的操作。搜索需要用到倒排索引，而排序和聚合则需要使用 “正排索引”。说白了就是一句话，倒排索引的优势在于查找包含某个项的文档，而反过来确定哪些项在单个文档里并不高效。doc_values和fielddata就是用来给文档建立正排索引的。他...

文章目录环境工具新建topic查看topic列表删除某个topic查看有哪些消费组查看某个消费组的详情环境以下的操作都是基于kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 2 --topic spring...

这是对最近做的一个项目，其中一个知识点的总结。真实的业务场景就不说了，我来模拟下业务场景，足够说明问题就行了。假设我有个对象，存储人员的基本信息，如下：@AllArgsConstructor@Data@ToStringpublic class PersonInfo { private String name; private int age; private i...

文章目录环境准备问题描述源码分析最近遇到一个springboot整合kafka设置手动提交不生效的问题，后来发现是自己的方法不对，走了一些弯路，这里记录一下。环境准备spring boot 2.1.6.RELEASE本地zk, 单节点kafka，版本是kafka_2.11-2.2.0新建一个topic，topic名是 spring-kafka-demo4，如下：bin/kafka-...

文章目录背景知识基本介绍使用示例总结背景知识要理解 CompletableFuture，首先要弄懂什么是 Future。因为后者是前者的扩展。本文并不打算详细的介绍 Future，毕竟不是本文的重点。Future是java1.5增加的一个接口，提供了一种异步并行计算的能力。比如说主线程需要执行一个复杂耗时的计算任务，我们可以通过future把这个任务放在独立的线程（池）中执行，然后主线程继续...

引入问题这个问题来源于一个网络课程的课后思考题，题目是这样的：我用下面的表结构和初始化语句作为试验环境，事务隔离级别是可重复读。现在，我要把所有“字段 c 和 id 值相等的行”的 c 值清零，但是却发现了一个“诡异”的、改不掉的情况。请你构造出这种情况，并说明其原理。mysql> CREATE TABLE `test2` ( `id` int(11) NOT NULL, ...

基本上官方指南就已经向我们说明了一切。如下图所示：从官方指南上，ES的java 客户端分为两个大类。分别是：Java REST ClientJava API下面分别说下这两种有什么区别。Java API在ES 7.0之前最常采用的API，基于TransportClient客户端。网上大部分ES 客户端的资料基本都是基于它的。这种方式在ES 7.x后已经不被官方推荐，且在8.0版本...

文章目录尽量不用独立的多个参数接口最好带有版本信息尽量少用枚举类型作为参数总结尽量不用独立的多个参数比如我们有个dubbo的服务接口是这样定义的，public interface UserService { String sayHello1(String name);}服务实现示例如下：public class UserServiceImpl implements UserS...

文章目录概述过程详解准备连接器工具数据库和ES环境准备配置连接器启动测试概述把 mysql 的数据迁移到 es 有很多方式，比如直接用 es 官方推荐的 logstash 工具，或者监听 mysql 的 binlog 进行同步，可以结合一些开源的工具比如阿里的 canal。这里打算详细介绍另一个也是不错的同步方案，这个方案基于 kafka 的连接器。流程可以概括为：mysql连接器监听数...

文章目录雪花算法的起源雪花算法原理雪花算法java实现一些细节讨论调整比特位分布workerid一般如何生成雪花算法的起源snowflake中文的意思是 雪花，雪片，所以翻译成雪花算法。它最早是twitter内部使用的分布式环境下的唯一ID生成算法。在2014年开源。开源的版本由scala编写，大家可以再找个地址找到这版本。https://github.com/twitter-archive...

什么是kafka连接器connect在实际工作中使用 kafka ，有时候会有类似这样的场景。我们需要把某些数据源的数据导入到 kafka，或者把 kafka 作为数据源导出数据。或者两种场景的需求都要。这算是一种 kafka 生产者，消费者模式的特殊使用场景。它主要服务于数据管道的场景，为此 kafka 在0.9版本开始增加了 connect 功能，这样可以很方便使得 kafka 可以作为数...

Elasticsearch是一款流行的分布式开源搜索和数据分析引擎，具备高性能、易扩展、容错性强等特点。它强化了Apache Lucene的搜索能力，把掌控海量数据索引和查询的方式提升到一个新的层次。本文结合开源社区和阿里云平台的实践经验，探讨如何调优Elasticsearch的性能提高索引和查询吞吐量。一. Elasticsearch部署建议 1.选择合理的硬件配置，尽可能使用SSD ...

通常情况下，线程的执行顺序都是随机的，哪个获取到CPU的时间片，哪个就获得执行的机会。不过实际的项目中有时我们会有需要不同的线程顺序执行的需求。借助一些java中的线程阻塞和同步机制，我们往往也可以控制多个线程的执行顺序。方法有很多种，本篇文章介绍几种常用的。利用 thread join实现线程顺序执行thread.join方法的可以实现如下的效果，就是挂起调用join方法的线程的执行，直到...

基本介绍究竟什么是访问者模式呢？访问者模式(Visitor Pattern)模式是行为型(Behavioral)设计模式，提供一个作用于某种对象结构上的各元素的操作方式，可以使我们在不改变元素结构的前提下，定义作用于元素的新操作。如果系统的数据结构是比较稳定的，但其操作（算法）是易于变化的，那么使用访问者模式是个不错的选择；如果数据结构是易于变化的，则不适合使用访问者模式。总结起来一句...

文章目录问题描述问题的分析kafka的topic分区心跳机制kafka的分区再均衡解决问题问题描述项目在生产上的一段错误日志如下，[commitSync] processed message to kafka failed, Just Ignore this commit, wait for next commit to make these messages processed.org.a...

工作中经常遇到这样的场景，需要在object和map直接相互转换，这里总结一下。我先定义一个实体类，后面介绍的几种转换方法都以这个实体类为例进行说明。public class PersonBean { private String name; //姓名 private Integer age; //年龄 private Boolean boy; //是否男孩 p...

有一些业务场景下，我们需要判断某个对象的属性是否全部为空。该怎么做呢？马上能想到的一个方案是，一个一个判断对象中的属性。这个倒也可以，但是如果要判断的对象比较多，就得给每个对象写一个判断方法（因为每个对象的属性都不一样）。其实我们可以利用 java 的反射机制，比较优雅的实现。代码其实也很简单，public class ObjectIsNullUitl { public static...

MAT工具介绍工欲善其事必先利其器，学会使用工具也是一种本领。本篇文章就把自己之前工作中用到的一个内存分析工具给大家介绍下。内存分析工具MAT(Memory Analyzer Tool)是一款 JVM 的内存分析工具，在实际的工作中可以帮助我们解决生成上内存占用过高等问题。我之前用 MAT 是在 eclipse上使用，前者是后者的一个插件。后来换到 IDEA 才知道原来 MAT 也有独立的可...

在工作当中，有时候我们会需要打印GC的相关信息来定位问题。该如何做呢？先来看个示例，public static void main(String[] args) { List<Integer> list0 = new ArrayList<>(); long start0 = System.currentTimeMillis(); ...

文章目录yml配置数据源config配置类mybatis接口和实现测试多数据源下的事务问题yml配置数据源这个直接把多个数据库连接信息写上即可，用spring.datasource属性进行配置，如下：spring: profiles: dev datasource: test1: jdbc-url: jdbc:mysql://10.204.58.202:3306/...

这两天看到一个新闻让我很是震惊，linux上最常用的命令之一， sudo 命令居然被爆出有安全漏洞。作为一个程序员，可以说几乎天天和这个命令打交道，哪能想到这么成熟的命令工具居然隐藏着安全漏洞。sudo介绍大部分开发运维对这个命令都非常熟悉，不过考虑到有效读者不了解我还是简单介绍下。sudo 指“超级用户”。作为一个系统命令，其允许其它非 root 用户以特殊权限来运行程序或命令，而无需切换...

问题描述场景是这样的，我们的支付系统在一笔支付完成后，需要发出通知给到商户。支付完成的消息通过消息队列发送给通知的服务。通知服务的有一部分处理逻辑是这样的： notifyPersist.saveNotifyRecord(notifyRecord); notifyRecord = rpNotifyService.getNotifyByMerchant...

文章目录概述详解camel-kafka概述首先关于 camel 的基本概念和用法，以及 kafka 的基本概念和用法，这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。camel 本身是一个路由引擎，通过 camel 你可以定义路由规则，指定从哪里（源）接收消息，如何处理这些消息，以及发往哪里（目标）。camel-kafka 就是 camel 的其中一个组件，它从指定的 kafka top...

我们在阅读源码的时候，偶尔碰到下面这段代码：Runtime.getRuntime().addShutdownHook(new Thread() { public void run() { try { logger.info("## stop the xxxx client"); ...

下面分享的是我在工作中遇到的一个问题。处于保密考虑，我拿一个类似的场景举例子。1、现象描述先说结论。我遇到的问题是，mysql varchar类型的字段，传入的查询条件没有加引号，导致索引失效。比如我有一张表，结构如下：CREATE TABLE `order_test` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `user_i...

目录标题1、版本命名规则2、几个主要的里程碑0.8.2版本0.9版本1.0.0版本2.0.0版本2.2.03、关于客户端版本我自己用了 kafka 也挺久的了，关于kafka的版本规则，各个大版本的升级究竟做了哪些优化等，并没有特别的关注。本文打算做一个比较详细的整理。1、版本命名规则1.x之后，kafka 全面启用三位数的命名规则。也就是说，以前的版本都是这样色的，0.8.2.20...

1、基本认识简单来讲，我们平时经常使用的ArrayList不是线程安全的。我们通过使用 Collections.synchronizedList 来包装一个线程安全的ArrayList。我们一般创建一个普通的list是这样的姿势，List<String> list = new ArrayList<>(); // populate the list ...

本篇给大家分享一个我们在工作中经常使用的一个小知识点。简单俩说，su 或者 su - 都是用来切换用户的，格式如下，su [-] username 不带 username 表示切换到 root二者的区别在于，su 只是切换了用户身份，但是 shell 还是原来的用户的，那属于原 shell 的环境变量依然生效。有时候我们发现明明切换了用户，但是有些命令还是执行不了，就是因为用户虽然切换了...

文章目录springProfile标签中定义多个环境ThresholdFilter 日志过滤控制台输出日志引入默认配置springboot项目配置输出sqlspringProfile标签中定义多个环境我们可以通过springProfile为不同的环境配置不同的日志输出规则，比如生产环境不开启console，级别为info等 下面来看看示例，logback-spring.xml文件，<...

文章目录简介基本原理分析自定义序列化组件测试简介kafka内部发送和接收消息的时候，使用的是byte[]字节数组的方式(RPC底层也是用这种通讯格式)。但是我们在应用层其实可以使用更多的数据类型，比如int，short，long，String等，这归功于kafka的序列化和反序列化机制。基本原理分析在之前的一篇文章springboot集成kafka示例中，我使用的是kafka原生的Str...

文章目录多线程调试循环遍历条件断点显示方法返回值调试过程中动态修改变量的值调试内存泄露所谓工欲善其事必先利其器，从eclipse转idea也有一段时间了。一直想总结下idea调试的一些高级技巧。debug过程如果高效，撸代码也会爽很多，不是吗？多线程调试直接上例子说明，比如下面这段代码debug模式下调试的时候，发现断点并不会按照我预想的执行，子线程里的断点根本没有执行，两个子线程直接悄...

源码地址:https://github.com/pony-maggie/spring-boot-thymeleaf-learn本章介绍下thymeleaf表单一些比较复杂的操作。编码我们先实现一个测试controller，@RestControllerpublic class UserController { private List<User> userList ...

源码地址:https://github.com/pony-maggie/spring-security-learncsdn博客地址:https://blog.csdn.net/pony_maggie/article/category/9058964个人博客地址：http://www.machengyu.net/spring-security.html本地kafka和zk环境我们需要...

源码地址:https://github.com/pony-maggie/spring-boot-thymeleaf-learn本章打算介绍下thymeleaf表单相关的操作。为了避免本末倒置，后端的数据我都采用模拟的方式写成固定值返回，并且不涉及数据库相关的操作。编码我们先实现一个测试controller，有两个方法，一个是get方法，用于我们在浏览器里定位到表单的页面，一个post方法，...

文章目录什么是thymeleaf关于spring boot和thymeleaf编写demo源码地址:https://github.com/pony-maggie/spring-boot-thymeleaf-learn第一章肯定要先引入概念。然后给一个基本的示例。什么是thymeleafthymeleaf是一种用于Web和独立环境的现代服务器端的Java模板引擎。(这基本是官方说法)市面上...

文章目录示例实现原理分析源码地址:https://github.com/pony-maggie/spring-security-learnremember me(记住我)这个功能大家都很熟悉，现在各大网站用得很普遍。当我们勾选了这个功能并且登录成功后，在一定的时间内再次登录就不用输入用户名和密码了，即使浏览器退出重新打开也是如此。本文会实现一个基本的remember me功能，并且简单分析...

文章目录broker-listbootstrap-servers vs zookeeper我刚想kafka的时候，对这几个概念有时候会混淆，尤其是配置的时候经常搞不清楚它们的区别。这篇文章打算做一个梳理。broker-listbroker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。broker-list指定集群中...

文章目录基本介绍RDB介绍查看快照文件的信息触发RDB快照条件AOF介绍相关配置重写机制总结基本介绍本次演示使用的redis版本是3.2.100，操作系统是win10。redis支持两种持久化方案，RDB和AOF，前者是默认打开的，后者需要手动开启。我们通过配置文件可以验证这一点，RDB默认开启save 900 1save 300 10save 60 10000这三条配置是RDS...

很多朋友经历了昨晚阿里云3小时左右的故障，我司的业务也受到了一定影响，技术的同事一起熬夜奋战，最终观察服务稳定运行了两个多小时，直到凌晨五六点多才逐渐登出VPN。一次事故如一场战役，不管是在故障过程中的处理，还是故障后的总结，除了骂阿里云，我们自己有没有可以改进的空间呢？结合我司昨夜的处理过程，说一下自己的一点想法。画外音：技术人，还是聊技术，决定不了别人，我们做好自己。一凌晨，收到运维负...

文章目录自定义SQL查询复杂查询如何实现关于事务原理概述不了解spring data jpa的建议先看我之前的文章spring data jpa入门示例自定义SQL查询mybatis擅长大量自定义查询的场景，spring data jpa虽然优势不在这里，但是也支持自定义SQL查询。它主要是通过@Query注解支持的。@Transactional@Modifying @Query("...