2021年06月_九师兄

原创【Java】java Arrays.asList 在idea 下 debug 不同结果的表现非常诡异

是这样的我写了一段代码，代码内容如下/*** false* false* 结束int a = 1;System . out . println("结束");这个运行结果稍稍有些令人意外，然后调试的时候，神奇的现象发生了。运行是false，但是debug的时候是true好吓人。然后我就想知道为啥会出现这种情况。调试的时候发现首先调用= - 1;这里a[i] 居然是一个数组这里怎么会是数组呢？我明明是把一个数组赋值给了Object,数组也是Object类型吧？然后看看赋值逻辑。

2021-06-30 22:39:35 206 1

转载【Elasticsearch】 Kibana 里程碑插件的使用

1.概述转载：Kibana 里程碑插件的使用今天介绍一下 Kibana 的里程碑插件的使用，这个是一个相对还比较新的可视化插件，可以用来对具有时间上下文相关的数据，以里程碑的方式来展现这些数据点在时间轴上的关联性。这样说可能比较抽象，举个荔枝，你在 Elasticsearch 里面存的是服务器日志信息，然后有一天，老板说网站很慢，帮忙重启一下，（老板听说重启可以解决问题，反正他说他的笔记本重启之后就老快了），这个是一个已知的维护动作，所以你默默的在后台记录了重启的时间和是谁叫你重启的（这里是老板），.

2021-06-30 22:22:50 364

原创【Redis】 redis hash getKey getValue 两个的性能差别

1.概述有个需求是我们要获取redis中的key的信息。大概是这样的,key是IP，value是一个json字符串，但是我们只想要key信息。然后有如下代码。构建60万的数据 @Test public void addeirdWData11() { JedisPool jedisPool = RedisGetKeyOrValue.initLocalRedispool(new Properties()); Jedis jedis = RedisGetKeyO.

2021-06-30 22:13:15 1664

原创【Elasticsearch】 es watcher 视频笔记

1.概述视频地址：https://www.bilibili.com/video/BV1uJ411g7ju?from=search&seid=16510000610773477650可以开启30的试用功能2种方式创建基于阈值的告警基于高级功能的告警

2021-06-29 22:18:10 171

原创【Elasticsearch】解决数据较少的时候算分不准的问题 dfs_query_then_fetch

1.概述2.案例2.1 单个分片分数校准2.2 分片较多可以看到分数不准了2.3 dfs_query_then_fetch可以看到分数正确了，但是比较耗费性能N.扩展视频：哔哩哔哩

2021-06-28 22:24:55 449 1

原创【kafka】kafka 建立很多很多消费组会怎么样

1.概述这个问题与问题：【kafka】kafka 同时建立很多消费者会怎么样有异曲同工之妙。是这样的，我有一个需求，这个需求是每次构建一个消费者消费最新的数据，没有使用指定位置，故意使用简单消费组，每次创建一个随机消费组。然后有次遇到问题：【Kafka】kafka 客户端控制台 flink 都无法消费的情况在这个问题中，发现消费组有很多个，几万个，最后虽然证明不是消费组的问题，但是也不能生成这么多消费组呀，于是就想测试下一按，消费组很多个会产生什么效果。或者什么异常。目前看起来就是查看消费.

2021-06-28 21:38:16 1048

原创【Elasticsearch】 es kibana 安全实战

1.概述2.es开启安全设置[lcc@lcc ~/soft/es/elasticsearch-7.8.0]$ cat config/elasticsearch.yml | grep xpackxpack.security.enabled: true#xpack.vectors.enabled : true#xpack.security.audit.enabled: true然后重启es，然后设置es的默认密码以及其他的[lcc@lcc ~/soft/es/elasticsearch-7..

2021-06-27 21:41:32 204 2

原创 95-10-132-启动-TransactionCoordinator-源码

1.视界1. 入口方法/* start transaction coordinator, with a separate background thread scheduler for transaction expiration and log loading */// Hardcode Time.SYSTEM for now as some Streams tests fail otherwise, it would be good to fix the underlying issue/**

2021-06-27 16:10:33 126

原创 95-10-130-启动-TransactionCoordinator

文章目录1.视界概述写在前面的话为什么要提供事务机制`Exactly Once`操作原子性实现事务机制的几个阶段幂等性发送事务性保证事务机制原理事务性消息传递事务中Offset的提交用于事务特性的控制型消息事务处理样例代码完整事务过程找到`Transaction Coordinator`获取PID开启事务Consume-Transform-ProduceCommit或Abort事务[](http://www.jasongj.com/kafka/transaction/#%E6%80%BB%E7%BB%93

2021-06-27 16:09:22 106

原创 95-10-120-启动-GroupCoordinator

文章目录1.视界1.概述2. Topic __consumer_offsets3. group coordinator3.1 状态转移图4. Consumer 初始化rebalance时机入口方法start方法cleanupGroupMetadata1.视界1.概述消费者协调者：groupCoordinator ，每个消费组，在服务都需要一个全局的消费组协调者，解决消费者的rebalance问题。依赖了replicaManager，KafkaZkClient模块在kafka0.9.0版本的时候，开

2021-06-27 16:07:48 99

原创【Elasticsearch】消除 Elasticsearch 中的重复文档

1.概述翻译：消除 Elasticsearch 中的重复文参考：【Elasticsearch】如何在 Elasticsearch 中查找并移除重复文档在 Reddit 上分享在领英上分享在脸书上分享分享到Twitter 复制网址避免 Elasticsearch 索引中的重复总是一件好事。但是您可以通过消除重复获得其他好处：节省磁盘空间、提高搜索准确性、提高硬件资源管理效率。也许最重要的是，您减少了搜索的获取时间。令人惊讶的是，关于此主题的文档很少，因此我们提供本教程，为您提供识别和管理索引.

2021-06-27 12:06:34 463

转载【Elasticsearch】用ElasticSearch实现基于标签的兴趣推荐

1.概述转载：https://my.oschina.net/waterbear/blog/4493422主要是为了实操一遍，同时更改curl的方式。前提操作系统：macElasticSearch 7.8推荐原理文章索引中有字段tags，存储了文章有关的标签每个用户都有自己的兴趣标签tags兴趣推荐就是用兴趣标签去匹配文章的标签，用户的一个兴趣标签命中N篇文章，用户的多个兴趣标签命中M篇文章，M和N有交叉，即文章中有重复，重复出现次数最多的文章就是最贴近用户兴趣的。原理理解起来简单，使用.

2021-06-26 17:23:31 2722

原创【Elasticsearch】es 面试题积累

1.概述1.什么是集群？集群是节点的集合，这些节点一起保存数据并提供联合索引和搜索功能。解释索引一个节点是一个弹性搜索实例。它是在 elasticsearch 实例开始时创建的。Elastic Search 中的文档是什么？在弹性搜索中，文档是可以被索引的基本信息单元。它以 JSON (key: value) 对表示。’{“user”: “nullcon”}’。每个文档都与一个类型和一个唯一的 id 相关联。定义术语分片每个索引都可以拆分为多个分片，以便能够分发数据。分片是索引.

2021-06-26 16:04:42 825

转载【Elasticsearch】十九种Elasticsearch字符串搜索方式终极介绍各种查询

1.概述转载：十九种Elasticsearch字符串搜索方式终极介绍建议直接看原文转载原因：各种查询方式都有，比较有个清晰的概念，也可以当做字典来用。ES 的 query 简单分成 4 类:term query，对单个词的 query，包括 term/terms/range/exists/missing/ids/regexp 等full text query ，全文检索query，对多个词（即句子）的query，包括 match/multi_match/common 等compound q.

2021-06-26 14:50:24 1411

转载【Elasticsearch】Lucene 中的 Stored Fields 存储优化自定义存储类型序列化方式

1.概述转载：Lucene 中的 Stored Fields 存储优化1 背景Qunar 酒店的搜索和 suggest 是基于 Lucene 构建的，在我们的使用场景中，由于召回和排序是作为两个单独的应用，当召回的文档数量比较多的时候，响应速度较慢，Young GC 也比较严重，导致并发量很难上去。经过分析我们发现，主要的问题是因为需要获取大量文档的存储字段，造成反序列化比较多，所以影响速度，GC 也比较多。Lucene 正常的使用场景是不期望返回这么多文档的，一般是排序完成后只返回其中一页的结果.

2021-06-26 09:41:02 656

转载【ElasticSearch】ElasticSearch 中使用衰减函数来完美你的搜索结果

1.概述转载：ElasticSearch 中使用衰减函数来完美你的搜索结果最近的项目在原有的搜索需求增加功能ElasticSearch 7.6 （请注意，大版本不同可能参数不同）原有搜索：简单的标题+正文全文索引新加功能：在原有的基础上，更加完善排序结果。可以由多种因素控制。发布时间（发布太久的了得分需下降）后台给予的权重值（权重值越高越好）热度调研了一下文档，发现ElasticSearch完美支持这样的需求，只需要自己定义好递减函数即可。ES 内置了衰减函数（Decay Funct.

2021-06-26 09:14:45 1519 2

转载【Elasticsearch】极限网关 INFINI Gateway 初体验

1.概述转载：https://elasticsearch.cn/article/14173最近在elasticsearch中文社区看到medcl大神写的一篇文章《Elasticsearch 极限网关测试版本发布》，在es外层接了一个极限网关gateway，所有的请求先走网关，再到es。gateway能提供索引级别的限速限流，降低重复请求，缓存常见查询，起到查询加速的效果等等很多特性。看着很强大的样子，赶紧下载体验了一下。下载下载地址：https://github.com/medcl/infini-.

2021-06-25 21:36:10 1267

转载【Elasticsearch】ELASTICSEARCH集群节点的扩容（移除与添加）

1.概述转载：ELASTICSEARCH集群节点的扩容（移除与添加）0x01 前言我的elasticsearch集群在刚建立之初只是想用于测试，所以每个节点只有300G的磁盘空间。但后来用在我自己业务的日志分析，磁盘空间则越来越小，最后不得不计划磁盘扩容的工作。elasticsearch磁盘扩容非常简单，只需要将node中的分片迁移出去，然后从集群中剔除该node，重新安装系统和部署elasticsearch后即可重新加入集群。为什么要那么麻烦？因为我家里服务器的资源有限，而且虚拟机的mac地址.

2021-06-25 21:12:52 3641 2

原创【Elasticsearch】 es 集群发现机制

1.概述相关阅读：【Elasticsearch】zen discovery集群发现机制翻译：发现在 Elasticsearch 中是如何工作的？本文解释了不同的发现机制、关键设置、故障检测、相关日志等。介绍在生产环境中运行 Elasticsearch 集群时，发现是一个重要的话题。发现集群内的节点或运行主选举，这是发现模块的两个主要任务。本文的目的是分享关于 Elasticsearch 6 中发现的基本概念，以便您可以更好地配置您的集群或更好地处理有关它的操作。看完这篇文章，你会明白：不同的.

2021-06-25 20:57:16 267

转载【Elasticsearch】如何构建一个好的电商搜索引擎？

1.概述转载：https://mp.weixin.qq.com/s/eLhPMI38miBWlWxuMPv-2A建议看原文，这个是防丢失转载这篇文章的原因是，这篇文章详细的解释了如何做一个电商搜索引擎，发现里面能做的东西非常的多，非常的有用。每个点都能写一个服务，甚至是做成服务卖出去。导读：机器学习算法的不断进步，搜索引擎巧妙的人机交互设计，分布式系统的革新让搜索引擎在不知不觉中成为人们生活中不可或缺的一部分。同时，随着人们新需求的不断涌现，搜索引擎也没有停下变革的步伐。本文主要分享智能搜索在电商

2021-06-25 20:06:41 790

转载【Elasticsearch】es 集群健康值红色 red 分片未分配

1.概述转载：https://zhuanlan.zhihu.com/p/101608973转载这篇文章是因为根据我的文章【Elasticsearch】elasticsearch 7.x 查看分片未分配 (UNASSIGNED) 的原因【Elasticsearch】Elasticsearch 集群健康值红色解决方案或者分片未分配讲解了大部分分片未分配的原因，但是一步一步的排查，深入的排查，这篇文章可以弥补。前言可能你经历过这些Red.。。。等等那ES的Red是神么意思？这里说的r

2021-06-25 20:05:45 5641

原创【Kafka】kafka 客户端控制台 flink 都无法消费的情况

1.概述首先参考文章：Kafka : kafka无法消费的情况【Kafka】Kafka 奇怪问题之无法用Java 客户端消费我一个flink程序发布到页面后，发现不消费数据。但是我确信数据是有的lag也是存在的，而且使用earliest也不能消费。然后把包换到其他环境是能消费的。然后我本地控制台尝试消费，第一次能消费，然后再次试试就不能消费了然后查看topic详情，发现topic没有任何异常然后试试重启任务。没用修改消费组。没用重启 kafka 没用最后放大招，物理删除 top

2021-06-24 21:19:19 661 4

转载【Elasticsearch】使用 Elasticsearch 轻松进行文本分类

1.概述转载：https://www.elastic.co/cn/blog/text-classification-made-easy-with-elasticsearch

2021-06-23 22:43:41 440

转载【redis】redis Redisson 基本用法

1.概述转载：https://www.cnblogs.com/cjsblog/p/11273205.html 建议看原文1. RedissonRedisson是Redis官方推荐的Java版的Redis客户端。它提供的功能非常多，也非常强大，此处我们只用它的分布式锁功能。https://github.com/redisson/redisson1.1. 基本用法 <dependency> <groupId>org.redisson</groupId&g.

2021-06-23 22:41:58 2500

转载【ElasticSearch】IK分词加入标点符号

1.概述转载并且补充：https://blog.csdn.net/loyopp/article/details/47758247IK分词默认的分词结果是没有标点符号的，看了一番源码。发现直接修改源代码加入标点需要改动多处。所以想到了一个策略，从外部包一层代码，先让ik分词，然后检测它的前后是否有遗漏符号，然后将符号加入分词结果中。当然，大家如果有好的方法，请上交！下边是源码部分：maven依赖  &l.

2021-06-23 22:34:34 1218

原创【Redis】Redis 使用 redisson 做分布式锁复盘 maven 依赖 netty 冲突

1.概述今天想要做一个功能，大概是 flink任务中，输出到100条数据的时候，就要停止输出。并且输出一个特殊的信息。这里每次发送一个消息，记录。难点：flink任务是并行处理的，要求所有并行度，总共输出不能超过100.最后输出一条特殊的消息，因此每个并行度都要判断哪个是最后的一条消息。我这里采用redis分布式锁，去做。核心就是。发送一条数据，我就在redis中某个key增加1，然后每次去读取，然后判断是不是超过限制了。如果超过限制那么输出一条告警信息。开始我引入了如下<dep.

2021-06-23 22:09:59 854

原创【Elasticsearch】实施现代电子商务搜索

1.概述翻译：https://spinscale.de/posts/2020-06-22-implementing-a-modern-ecommerce-search.htmlTLDR；在加入 Elastic 之前，我之前的工作是在一个小型 b2b 市场运行产品搜索引擎。我学到了很多东西，尤其是，考虑到搜索引擎在过去十年中发生了很大的发展，我现在会做些什么不同的事情。这是我去年在汉堡做的演讲的书面形式。这篇文章不仅是关于电子商务网站的纯搜索方面，而且还考虑了一些不同的事情，这些事情对于搜索来说有点.

2021-06-22 23:10:57 103

原创【netty】Flink Clickhouse 写入失败 Channel output shutdown Broken pipe

1.场景11.1 概述我基于：https://github.com/ivi-ru/flink-clickhouse-sink.git 写了一个FLink clickhouse SInk但是，今天报错2021-06-21 04:37:04,162 ERROR com.dbapp.function.sink.clickhouse.applied.ClickhouseWriter$WriterTask - Error while executing callback, params = Clickhou

2021-06-22 21:48:22 554

原创【ElasticSearch】es 压缩你的数据

压缩很棒，使比原始尺寸更小的东西听起来很神奇，但这是可能的。我们从 WinRar、7Zip 或其他工具中了解到这一点。即使 Elasticsearch 具有压缩将在节点和客户端之间丢弃的数据的属性，这对于在处理来自 Elasticsearch 的大量响应时减少网络延迟非常有用。启用 HTTP/TCP 压缩处理压缩响应Elasticsearch 7.7 及以下Elasticsearch 7.8 及更高版本未来的 Elasticsearch 版本 7.9 和 8.0。

2021-06-22 21:46:54 1470 2

原创【Elasticsearch】Elasticsearch 的异步搜索原理解析 _async_search

1.概述官网：https://www.elastic.co/guide/en/elasticsearch/reference/master/async-search.htmlElasticsearch 7.7 版本带来一个新的特性，search 过程允许异步执行，客户端发送完 search 请求后，Elasticsearch 服务端给客户端返回一个 id，以后客户端拿这个 id 来获取 search进度，并且支持返回“部分”结果，这对于 UI 交互相关的查询请求非常友好，例如绘图过程可以逐步的显示出来。

2021-06-22 21:46:10 722

原创【Elasticsearch】使用 Grok 和 Elasticsearch 为数据添加结构

1.概述翻译：https://alexmarquardt.com/using-grok-with-elasticsearch-to-add-structure-to-your-data/除了作为搜索引擎，Elasticsearch 还是一个强大的分析引擎。然而，为了充分利用 Elasticsearch 的近实时分析功能，在数据被摄取到 Elasticsearch 时向数据添加结构通常很有用。其原因在写入模式与读取模式一文中得到了很好的解释，并且对于本博客的其余部分，当我谈论结构化数据时，我指的是写入模式

2021-06-22 21:45:38 360

Eclipse Formatter 模板 Formatter.xml

Drools-复杂事件处理

excel操作包

eclipse的hadoop插件

hadoop学习文档

hadoop单结点

hadoop单结点配置

native_32位

s2sh整合配置，非常适合初学者，明白配置流程

打飞机代码

空空如也