Angus

首先要知道，inoutSteam是字节流，也就是二进制数字。想要转为字符，首先要做的是把字节流转为

接近半个月没有更新文章了。我这半个月是不是去摸鱼了？这篇文章聊聊我这半个月的经历和收获的成长。 最近半个月都是七点半出发，十一点半回家的，参与一个

不要被欲望冲昏头脑而迷失方向我要赚更多的钱；我要去更好的公司；我要实现什么什么。这些看似是动力，实际上很容易被冲昏头脑。没有计划的欲望，是白日梦。不能被拆解的目标，就是大坑。因为欲望是非常容易影响心情的，没有实现的欲望会带来糟糕的心情。糟糕的心情会让你忘记你要做什么，你能做什么；糟糕的心情是时间杀手，很容易让你把时间浪费掉。不要被工作撕碎心情打破计划 工作有各种的想不到，想不到的需求，想不到的问题；解决不掉的需求，解决不掉的问题。但是还是应该保持一个颗乐观的心，保持一个良好的心情，记着...

JMM又是什么？ JMM 就是一组规则，这组规则意在解决在并发编程可能出现的线程安全问题，JMM (Java Memory Model)是 Java 内存模型,JMM 定义了程序中各个共享变量的访问规则,即在虚拟机中将变量存储到内存和从内存读取变量这样的底层细节.并提供了内置解决方案（happen-before 原则）及其外部可使用的同步手段(synchronized/volatile 等)，确保了程序执行在多线程环境中的应有的 原子性，可视性及其有序性。 JMM 规定了所有的变量都存储在主内...

有没有真正的生产经验，一问便知。即使是大公司的跑龙套的，不知道系统上下的整体架构，也说不过去。可能一些专业的测试，包括机器的压测，全链路的问题演练，即使没做过，最后的测试报告多少还是要知道的。如果是小公司的负责架构的，这些问题肯定一清二楚。有没有生产经验，以及经验是否真实，通过服务架构，以及各个环节的资源配置，是可以体现出来的。是在没有做过压测，也没关系，至少去官网上看一下官方做的压力测试。 多数情况下，一问到这个问题，很多人就开始瞎扯了..springCloud微...

作为一个步入职场一年半的“老鸟”。分享一下自己的心得。大道至简-化繁为简看了那么多书，用过那么多框架，也做过技术选型，技术架构。学过那么多的新知识。其实也就这么几件事：通信。服务与服务之间的调用叫做通信。用户调用服务也叫做通信。高可用集群，集群与集群之间数据同步，也需要通信。想要走得更远，进行更多的优化。最好熟悉网络原理，以及通信协议。另外前辈给我们封装好了一些东西，例如通信框架netty，最好学习一下。 微服务。也就是服务拆分。 以及服务拆分带来的单点故障问题如何解决。也就...

在微服务场景下，多个服务之间的相互调用是不可避免的。而注册中心的职责就是负责通联这些分布在不同地方上的服务（即服务注册与发现）。 实际上服务注册与发现并不难，因为需求已经很明确了，除了上边提到的服务注册与发现，还应该有一个心跳机制，来确保注册过来的服务是可用的。 所以本身而言，让我们实现一个注册中心，要解决的问题，应该有：一个注册表，来记录这些期望被调用的服务。一个心跳机制，保证服务提供端注册的服务可用。以及客户端的一个拉取机制。Eureka的工作原理如下图 实际上，在推送请求...

看过不少的elasticsearch优化的文章，都说到段合并会带来不错的效果。 前几天阿里技术专家，欧阳楚才给我们做了一次技术分享。在分享会上，他也有提到段合并带来的优化效果可能会有两三倍。 这让我蠢蠢欲动，回来又补了一些段合并的知识。我每次看一个问题，都会把谷歌搜出来的前三页都看一遍。这些文章都在说段合并有多好，已经仅仅提到段合并会占用IO，可是没有提问题。我用一次生产环境才的数据，给大家还原一下段合并的过程，以及没有注意到的点，造成生产事故。从截图证据中，我们一起看一下段合并需要...

CCR一个主从模式。熟悉数据读写分离的，可以理解为读写分离，主库写数据，从库关联主库然后实时同步数据。从库只可以读操作，主库可以读可以写操作。CCR是elasticsearch的不同集群间的一个主从模式。 在我的文章里用主从来描述在这个关系，我是觉得更好理解。在官方描述里，叫做领导者和跟随者。目录CCR能带来什么CCR是怎么一个运作模式CCR只针对索引复制是主动-被动关系如何在kibana上开启CCR前提条件在kibana上操作cluster_1...

一直惦记着G1垃圾回收器，如果不出意外的话，G1今后一定会被大量用于生产。之前零零散散的看了一些关于G1的知识点，但是很难形成一个知识体系，都只是皮毛。趁着这个假期的尾巴，恶狠狠的啃了一遍谷歌出来的G1详解相关的文章，特地整理出来分享给大家。看了前几页的文章，每篇文章都有其精髓的地方，但是内容不是很连贯，我会加上我的理解我会把前辈写的好的地方融合到这篇文章。这篇文章会偏向与实现细节，适合进行有深度的关于G1的学习。1. 一个G1的引子：为什么会有G1 所有的垃圾回收...

针对脑图的话，网上也是有比较多的。我谷歌的前几页，都看了一遍，最终筛选出来一个最详细的放在这里。分享给大家。这篇文章主要的目的是来帮助我们构建多线程知识脉络。因为多线程的知识点是非常多的，记忆起来比较难，平常开发会用到多线程，但是不可能全部都用到。这么都知识点，哪一点用到的时候都是重点，所以很难说只记重点。记忆方法比较重要，先记住一个框架，然后再去展开。算法里边叫做广度优先遍历。脑图是一个不错的构建知识框架的方式。网上的脑图，基本上都是根据《java并发边程艺术》这本书整理出来的书籍。这篇文章.

线上问题是初级开发人员接触不到的，但是又必须去看的问题。刚毕业的这一年，真的是什么都有幸接触到了。去机房修过服务器、抢救过服务、线上问题诊断、复盘、JVM调优、再到架构、最终回到底层。可谓是千锤万凿出深山，烈火焚烧莫等闲！真的经历这么一遭，反而明白了一个道理，世界的终点是起点。为什么这么说呢？经历过线上事故，进行深度复盘以后，才明白，原来扎实的基础知识，例如多线程，JVM，操作系统原理这些，是这么的重要。经历过大风大浪还有幸存活的渔夫，一定会把它的渔船修的异常坚固，一定会准备必要的逃生方案。哎.

一份个人简历，大四提前一年出来实习，在12306。2020年毕业，开始第二份正式工作。从大学毕业，只是我学习之路的刚刚开始。简历所写的内容都是真实的，一点水分没有。欢迎拍砖，希望大家能够针对我的简历，提出一些意见。深耕Elasticsearch，网关，JVM虚拟机，spring源码，多线程以及线程安全。最感兴趣的是k8s，以及服务网格。这会是未来的学习方向。心怀一颗去大厂的梦，因为哪里有一群愿景，喜欢折腾的人，同时我可以站在巨人的肩膀上。不过暂时只专注项目上线...

平常经常用到的elasticsearchAPI进行一个分类。主要的作用是记录，方便我自己遗忘的时候查看CRUE创建索引 删除索引 修改索引setting mapping 查索引 查数据同步数据跨集群同步数据，在kibana中执行命令同步数据的命令POST _reindex?slices=1&refresh{ "source": { #想要从哪个索引同步数据 "index": "device_search_o...

默认是会用kibana的。下边的命令都是在kibana上执行的。描述我们对集群进行了升级，虽然已经将全部的数据都迁移到了新的集群上，但是由于之前文档不够充分，我们不能百分之百的保证之前的旧集群没有在使用。所以我们采用新老集群三个月内并存的方案。先直接退出两台机器，将数据分到其他的机器上。然后再关闭集群。只使用新集群，如果业务受到影响，就将旧集群恢复重启。由于旧集群占用了过多的机器资源（六台机器，800G的内存），所以我们想要将机器从中释放两台。注意事项想要将机器退出集群，或者将节点退.

我在配置跨集群数据同步时候。A集群需要从B集群同步数据，但是B集群是带有安全认证的。所以需要把B集群的证书放在A集群。为了偷懒，我把elastic-certificates.p12 证书，放在了config目录的外边。然后就报了下边的错。一开始我以为没有读权限，所以就使用chmod 777elastic-certificates.p12 但是已经不能使用。后台把文件挪到了config目录下，然后又修改elasticsearch.yml里边的配置路径，使用了elastic-certific...

聚合分析运算是数据库中重要的特性，对于数据分析场景尤为重要。类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。Doc Values 和 Field Data在学习聚合分析之前，我们先了解一下 Doc Values 和 Field Data 数据结构，我们知道倒排索引的优势在于查找包含某个项的文档，反过来确定哪些项是否在某个文档中并不高效，ES 为了满足排序、聚合以及执行脚本的需求，因此就出现了 Doc

如何是自己搭建的elasticsearch集群，其实是比较容易发生丢失分片的情况的。1. 如果集群丢失了主分片则直接呈现红色的健康状态 严重的会影响到对集群的写入，因为如果主分片丢了，但是集群的master节点会记着，有这个分片存在。所以写数据的时候，会报错。2.如果是丢失副本分片，则集群会呈现黄色的健康状态 不影响写入和查询操作。究竟都有哪些原因导致集群丢失分片呢针对我使用一年elasticsearch的经验，遇到过的错误，进行总结。我的elasticsearch是九...

拒了心仪的公司 最近总有阿里的HR打电话过来问，看不看机会。打心眼里说，阿里一直以来都是我最心仪的公司，它是支撑我每天夜战到凌晨一点钟的唯一动力。但是我还是拒绝了HR。 理由如下：其一：我还没有足够的自信。即使我平常有看一下面试的知识点。这里留一个伏笔，这是我这篇文章最想说一个转变。 其二：我应该着眼于眼前的工作，并不是因为钱多（说实话，我只能拿一个端茶倒水的钱），是因为挑战，它具有挑战性。一个系统从零到一，从一到九十九的过程。即使走也要是衣锦还乡。差不多应该在八九月份。换一种...

简介：阿里云免费SSL证书是Symantec品牌的，新手站长网分享阿里云SSL证书免费申请方法阿里云有免费SSL证书吗？阿里云一直都有免费SSL证书提供，免费SSL是Symantec品牌个人型SSL证书，只能保护一个域名，非通配符证书，多个域名可以申请多个免费SSL证书，新手站长网来说说2020年阿里云免费SSL证书申请教程：阿里云免费SSL证书申请阿里云免费SSL证书是赛门铁克（Symantec）品牌的，免费证书只能保护一个域名（带www和不带www可以通用），阿里云个人账号和企业账号均可申.

项目要上线，需要把http变成https，作为安全防护的一个手段。如果不走https，只用http有什么问题？其一，通过抓包，可以看到你全部的数据。 其二，通过抓包，在你的页面数据上放一些广告。 还有更多，就不列举了。如果走https，都需要哪些条件？如果是demo项目的话，可以使用JDK自己签发SSL证书，这个如果只是后台访问接口，https没问题，如果是页面在googel浏览器展示，然后去调用https的接口就有问题了，谷歌浏览器说这个证书我不认可。所以就有了第一个...

前言三色标记算法，用于垃圾回收器升级，将STW变为并发标记。STW就是在标记垃圾的时候，必须暂停程序，而使用并发标记，就是程序一边运行，一边标记垃圾。并发标记一共会有两个问题：一个是错标，标记过不是垃圾的，变成了垃圾（也叫浮动垃圾）；第二个是本来已经当做垃圾了，但是又有新的引用指向它。先看三色是什么白色：没有检查（或者检查过了，确实没有引用指向它了） 灰色：自身被检查了，成员没被检查完（可以认为访问到了，但是正在被检查，就是图的遍历里那些在队列中的节点） 黑色：自身和成员都被检查完.

问题描述机房的机器发生了断电恢复。集群就呈红色关键性描述：nested: IndexShardRecoveryException[failed recovery]; nested: ElasticsearchException[java.io.IOException: failed to read /home/wsn/es/es7.5/node_2/data/nodes/0/indices/QGft9wywTOeSNjcsz_UUHA/3/_state/retention-leases-9117

错误如下：[2020-09-01T15:59:41,129][ERROR][o.e.x.s.a.e.ReservedRealm] [node-3] failed to retrieve password hash for reserved user [elastic]org.elasticsearch.action.UnavailableShardsException: at least one primary shard for the index [.security-7] is unavai.

什么是JMM模型JMM是一种抽象的概念，并不真实存在，是一组规范或者规则；关注的是多个线程对共享内存空间和线程私有工作空间的访问方式，围栏并发的原子性、有序性、可见性来展开的，想要了解JAVA的并发编程，就应该理解JMM。 JMM通过定义了对变量（包括实例成员、静态成员和组成数组对象的元素）的访问方式，在程序运行时，运行程序的是实体是线程，每个线程创建时候，虚拟机都会为每个线程分配一定的内存空间，每个线程的内存空间用来存储线程私有的数据。但是JMM中规定数据都是存储在共享的主内存空间，而且每个线.

在之前的架构里边，想要在gateway网关里边使用阿里的开源技术，sentinel来做网关层面的限流。一方面，阿里开源的，扛过高并发，上过生产，放心使用。另一方面社区相对来说已经成熟。但是由于错误的评估，话费了非常多的时间，因为sentinel使用起来，并不是那么的容易。特别是用在gateway网关中，更是到处都是坑。目前我已经实现1. gateway整合sentinel ，也就是在网关层面，实现使用sentinel限流。限流包括针对客户端ip限流，针对热点参数限流，针对h...

跟依赖注入相关的代码，在AbstractAutowireCapableBeanFactory 这个类中。public abstract class AbstractAutowireCapableBeanFactory extends AbstractBeanFactory implements AutowireCapableBeanFactory重点是 populateBean方法。/** * Populate the bean instance in the given B...

Exception in thread "main" com.alibaba.fastjson.JSONException: expect ':' at 224501035, actual " at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:291) at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(...

之前一直想要找到一个学习spring源码的主线。看了《spring源码深度解析》这本书，效果不是很好，没有得到我想得到的。最终还是借助《spring技术内幕》这本书，抽丝剥茧，打开了思路。我换一种方式来学习spring源码，走一个不一样的spring源码学习方式——从“农村包围城市”。先理解里边的关键点，然后逐一击破，走一个星星之火可以燎原的学习道路。不一样的spring源码学习方式——从“农村包围城市”。我把IOC作为学习spring源码的切入点。采用归一的方法，不妨问题化简为繁，先不要.

该模式设计关键点适配器模式，关键点是，通过一个适配类，将另外一个类的功能，适配成规范的接口方法。这个模式要好好理解一下，没有那么简答的。最后以spring源码中的使用做为深入理解的入口。UML图适配器模式，看起来非常简单，一个类Adaptee，有一个方法specificRequest（），另外有一个接口叫做Target，它声明了一个方法叫做request（），然后想要在不改变Adaptee的前提下，把Adaptee的specificRequest（），转换...

前段时间搭建了一个业务网关，其中限流用到的是阿里的sentinel。因为选择版本的问题，踩了很大的坑。说实话sentinel的官网真的写的不详细。根本没有提到版本的问题，就跟你引入对应的最新版本的就可以使用。springboot和sentinel就有很大的兼容性问题，我在创建项目的时候，发现springboot必须选择 2.30以下，并且大于2.2.0，才能选择引入sentinel。版本不匹配报错还好发现，但是不报错，组件不生效，是真的很难受的。举一反三，我们在使用任何技术的时候，都不能忽略..

我对设计模式的理解：多数开发人员应该知道设计模式这个东西；部分人知道23种设计模式；少数人能够熟练使用设计模式，极少数人精通设计模式。其实23种设模式，其实只是入门，这就相当于你学英语，学会了26个英文字母，才能开始学习单词。同样23种设计模式，只是字母表，想要到精通的层次，要能够灵活的使用设计模式，灵活的组合设计模式。设计模式是我短期计划中的一部分，我的文章致力于最快最简单的掌握每一个设计模式。我的设计模式相关的文章，都会在开篇使用一句话，来描述一个设计模式！该模式设计关键...

我对设计模式的理解：多数开发人员应该知道设计模式这个东西；部分人知道23种设计模式；少数人能够熟练使用设计模式，极少数人精通设计模式。其实23种设模式，其实只是入门，这就相当于你学英语，学会了26个英文字母，才能开始学习单词。同样23种设计模式，只是字母表，想要到精通的层次，要能够灵活的使用设计模式，灵活的组合设计模式。设计模式是我短期计划中的一部分，我的文章致力于最快最简单的掌握每一个设计模式。我的设计模式相关的文章，都会在开篇使用一句话，来描述一个设计模式！该模式设计关键点..

我对设计模式的理解：多数开发人员应该知道设计模式这个东西；部分人知道23种设计模式；少数人能够熟练使用设计模式，极少数人精通设计模式。其实23种设模式，其实只是入门，这就相当于你学英语，学会了26个英文字母，才能开始学习单词。同样23种设计模式，只是字母表，想要到精通的层次，要能够灵活的使用设计模式，灵活的组合设计模式。...

该模式设计关键点使用抽象类，定义算法骨架，然后子类根据不同的场景来实现算法细节，达到解决不同问题的目的。最大的好处代码复用，代码结构清晰，符合开闭原则。最大的缺点类的个数膨胀。UML图该设计模式非常的简单，很容易掌握，也不比较容易用到。定义一个抽象类（红色框），算法骨架方法，跟业务挂钩的抽象方法；然后由实现类，去实现跟自己业务相关的方法。简单的使用（一般大家对游戏比较有共鸣，那就举一个游戏的栗子吧）：首先我定义了一个抽...

2021年已经过去四分之一了，在3.15这个打假的特殊的日子里，特地整理一下年计划。不在沉默爆发，就在沉默中死亡。跳出安逸的圈子，保持之前持续的学习状态着重之前已经学过的内容的巩固。在今年去真正的精通两到三个核心技术，好支撑一个两年开发经验接下来冲击大厂的想法。要精通的技术六大设计原则，23种设计模式。希望一个月后，可以在自己的简历上：精通设计模式，可以在实际开发中灵活使用设计模式。 完整的看一遍spring源码，精通spring核心技术，深入学习spring源码...

JVM是面试的重灾区，同样垃圾回收期也是重中之重。不过我们学习不是为了应付面试，而是处在这个行业中，应该去了解一下。聊聊JVM垃圾回收器。来先看看都有哪些垃圾回收器 垃圾回收器，可以进行分类，分为多线程的和单线程的。垃圾回收器有以下几个。1.新生代Serial (第一代) PraNew (第二代) Parallel Scavenge (第三代) G1收集器(第四代)2.老年代Serial Old (第一代) Parallel Old (第二代) CM...

网上有很多种解决跨域问题的，只有这种用起来最简单。通过修改配置文件的方式来解决。只需要在 application.yml 配置文件中添加红色框的配置：spring: application: name: app-gateway cloud: nacos: discovery: server-addr: localhost:8848 gateway: globalcors: corsCon...

##HashMap的hash算法hash源码如下做了什么？获取hash值 hash值无符号右移 然后把前两步的结果做亦或运算 为啥这么做？经过上边的操作，右移和亦或运算。得到的hash值二进制的高十六位和低十六位将都保留hash值的数字特征。 另外，也和hash寻址有关，按照正常的逻辑，我们想要把hash值对数组长度取模，然后当做数字下标。而源码进行了优化，通过 （n-1）&hash 值得到下标，其实一样的效果，这不过这样的效果更好一点 。 再根据上边的...

2020年，本命年，人才两空的一年。没有去到大厂，没有拿到期望的薪资。没能带爱的人回家。可谓是人财两空。水平线上，痛定思痛，化所有的悲伤，所有的不快乐为动力。冲冲冲！我是一个不倒翁，东倒西歪过后，总能站稳！不过今年还是有成长的，掌握了很多的技术。未来加油...

对于netty的模型，如下如。不过我自己的理解是：我们关注的点，是服务器如何处理非常多的请求的问题。所谓的BossGroup和workerGroup ，其实就是一个主从架构，boss就是master，而worker扣就是跟从者。从名字上也好理解，一个老板，一个是员工。老板跑业务，跟人接触，然后项目给员工做。boss是一个whill（true）的死循环，不停的接受请求，然后经过合理的分配机制，将这些请求的链接转换channel。worker，其实也一样是一个whille（tru...

Reactor的模式Reactor的模式-单reactor单线程问题是还是会阻塞Reactor的模式-主从Reactor多线程

经过技术调研，平台的网关的技术架构选用如图：从一个请求开始，请求首先进入的是nginx流量网关，流量网关包括了：黑名单，和记录访问日志。记录的日志，将作为流量通过logstash进入ELK监控选用ELK的搜集技术，将日志整理，并进行统计分析。如果做的足够好，ELK将会是系统平台的眼睛。ES帮助我们更新一份黑名单。从流量的入口来保护应用系统。经由nginx流量网关的请求，到达业务网关，业务网关首选的技术是gateway业务网关，对请求做统一的处理，其中包括了统一认证，统一鉴权，包括...

IP地址（IPV4）与int类型之间的转换《IP地址（IPV4）与int类型之间的转换》 《IP地址（IPV6）与long数组之间的转换》一、前言IP地址（IPV4）是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节）。IP地址（IPV4）通常用“点分十进制”表示成（a.b.c.d）的形式，其中，a,b,c,d都是0~255之间的十进制整数。例：点分十进IP地址（100.4.5.6），实际上是32位二进制数（01100100.00000100.00000101.000...

由于工作的需求，经常要用到按行去读去文件，然后把读到的行进行一个特殊的处理。导致按行读取的代码在项目中到处都是。关键用到的时候，还不知道之前的按行读怎么实现的，不用的时候，到处都是，看吐了。用的时候，死活找不到，气死了。于是将这个对我来说常用的需求抽取成了一个工具类，使用起来非常方便。希望能帮到用到的人。大家有好点建议，也可以在下边留言。按行读，并做特殊化业务的处理，这个工具网上我是没有看到过的，包括hutool中，也是没有的。下边看看具体的实现。##工具类，按行读去的代码在调...

年底了，相信很多人都蠢蠢欲动了。开始未自己的明年，自己的未来做着准备了。针对于面试的突击，今天给大家推荐一个老师的课程：中华石杉老师的课程，自己学了它挺多内容，包括elasticseaerch顶尖高手的可能，真的是如浴春风，非常的舒服。另外也看了他出的面试突击的视频：第一季，第二季，第三季。抛开面试，我觉得有时间的话，就看看这些课吧。很大程度上能够打开我们的视野。其实也是最主要的一个点。对我来说，从大三暑假开始参加工作，到现在毕业半年，身价也翻了三倍了。谢谢那些老师，无私的录制视频分享，尚硅谷.

因为要写一个需求，就是统计接口的访问次数，还希望这些接口的访问时间，以及是否访问成功。所有我简单得的设计了一下，不想引入更多的技术，所以我选择打印日志的方式（主流的方式是使用ELK，这里不展开了），并且把日志打印到文件，用于分析。在网上看了蛮多文章，感觉都很乱，所以自己整理一下。我不会大幅度的介绍AOP是什么，以及里边的概念有什么，一切以栗子，需求为主导来展开。最后给一个完整的例子，前边我会分析，什么时候用到了AOP中的哪些概念。想要在springboot中使用AOP，在PO...

阿里云-通过全盘镜像实现ECS（云服务器）从A账号迁移至B账号主要思路是，将想迁移的实例A，打成镜像快照。然后把镜像快照分享给另外一个账号，然后在另外一个账号上，根据A的镜像，新开一台云服务器。这样新开出来的实例，就和原来的一样了。注意，这个方式的迁移，需要主要，打快照的时候，A机器就不要再生产数据了。快照只能拍摄一个时间点之前的数据。一. 在 A账号的ECS创建快照（系统盘+数据盘）与全盘镜像单击实例ID进入实例详情 进入本实例磁盘，创建快照（系统盘+数据盘） 查看快照列表，...

这篇文章重点讲解一下Deployment，在k8s中的官方介绍中，k8s的很多个特性，都是基于这个来实现的。比如我们想要弹性的服务，比如想要滚动更新我们的服务，版本回退，金丝雀发布。并列举一下它的使用案例。内容转载于k8s中文社区：http://docs.kubernetes.org.cn/317.htmlKubernetes Deployment1创建 Deployment 1.1Pod-template-hash label 2更新Deployment 2.1...

k8s需要的docker基础，而docker的数据卷volume又和k8s中的不一样。不一样的点在于docker使用数据卷，就在宿主机下留下数据。但是k8s里边的volume是伴随Pod的生命周期的，Pod没了，volume也就结束了。所以还是要使用持久化方案。所以就要了解pv金pvc以及storageClassPV、PVC、StorageClass讲解为了方便开发人员更加容易的使用存储才出现的概念。通常我们在一个POD中定义使用存储是这样的方式，我们以hostpath...

站在设计的角度上去考虑，任何一个系统都会有优先级的问题。最典型的栗子就是操作系统的调度问题。对于k8s也同样是。问题提炼分配之前的阶段- 如何排Pod的优先级？分配之后的阶段-当资源不足时，如何抢占资源？抢占策略是什么？调度优先级问题 对于提交的Pod的申请，一定会有轻重缓急。比如，机器资源 90G内存。四个Pod，一个20G，那么最后一个Pod肯定得不到分配。假如前边的Pod不是那么重要，或者说优先级没有那么高，则可以先把前边的关了，先把后边的Pod起来。...

想要明白调度过程中的资源分配问题，首先要明白一件事，k8s中的资源分配，是以Pod为单位的。而Pod本质上而言，其实就是一个进程。就像操作系统一样，进程是资源分配的最小单位。k8s解决的一个比较大的问题，就是资源分配。作为这么受欢迎调度服务编排的一员，k8s自然有出色的资源调度能力。其实主要问题就两个，一个是通过yaml进行资源的申请，一个是k8s，满足资源的申请。为了讲明白，我用了很多个小故事！希望能帮到大家罗列一下资源分配都要哪问题先从资源申请者：pod来讲Pod...

理解一下k8s的调度。首先，明白一件事，我们使用k8s基本上都是基于yaml文件来的，这个过程像极了伸手给妈妈要钱。妈，我想买乐高。妈，我想吃冰淇淋。yaml就像是一个伸手的过程。剩下的事交给大人操心。# # 简单了解一下k8s的架构 下边的图是一个k8s的集群架构。其实这个图有点不合适，不合适的点在于橙色的圈，此时不能代表一个Pod，应该是一个yaml，它即将会成为一个Pod，但是现在还不是。# # 接下来开始调度k8s调度过程基于上上边的架...

写了一个工具类，来获取指定文件夹下，包含子目录的所有指定后缀的文件。注意一个问题，这是一个递归调用，在工程上使用可能会比较危险，注意进行保护。package com.angus.demo;import java.io.File;import java.util.ArrayList;import java.util.List;/** * @author angus * @date 2021/1/5 20:44 */public class Test { public .

在了解了k8s的基本原理以后，还是有一个疑惑一些问题，就是k8s中部署的服务如何对外提供服务，pod与pod是如何通信的，k8s内部的服务又是如何做负载均衡的。一个pod挂了，再重启拉起来一个pod，是如何加入负载均衡中的，为什么它拉起来就能提供服务？ 直到我了解了k8s中的service，这一切才得到答案。service是什么 其实就是k8s中的服务注册与负载均衡。 最终能够实现，提供一个唯一的地址，供我们来访问地址，而不需要具体的去了解，这个服务起的Pod的ip是什么。...

个人整理出来的一份elasticsearch的学习路线。用来给即将要来我们这里入职的小朋友提前学习用的。我做过elasticearch集群优化，看过网上的很多很多的帖子，通读过官方文档，学习过B站上的基本上全部的elasticsearch的讲解视频。给出下边的建议，比较适合想要做搜索引擎，想要入门elasticsearch的小朋友们使用。Elasticsearch学习路线概述学习路线分为两部分：学习目标、学习资料。学习资料包含视频学习资料和官方文档学习资料。...

# #核心概念PodPod对于k8s来说，是资源调度的最小单元。Pod中的服务可以互相访问，但还Pod与Pod之间是隔离的。# # 数据卷解决的是容器中数据存储的问题，对于运行产生的数据，我们一般是希望保存的，这个时候就要用到数据卷。例如Mysql存储的用户信息，需要永久保存。如果不使数据卷，数据就会随着容器的被移除，而一起移除。# #deployment 一种抽象的概念。# # service 对外提供稳定的地址，比...

为了好理解，我用公司员工组织架构，来讲解k8s的架构。# #经典主从架构 用户操作UI，将想要执行的命令交给master去处理，master将要执行的任务，下发给node去执行。 通俗的来讲，UI像是一个CEO，master就是领导、CEO它说它想做别墅业务，让把这个想法创达给了下边的领导，然后领导知道了这个想法以后，就继续向下传递，它接的A组的小张可以胜任，就吧任务给小张去执行了。最后小张买地，雇人，盖别墅。# #有能力的领导—— master 其实就是mas...

# #领导与组织调度 k8s其实就像是领导一样，来领导员工更出色的完成工作。小王可以写前端，小李可以写前端加后端，小张可以做架构也可以做开发。它们都有自己的工作要完成。而k8s就是领导，它知道最终要完成什么工作，大家年终奖能多一点。# #自动恢复 笼统的介绍一下，k8s就是管理了一堆容器的领导，容器就像是一个公司的员工。本来一项工作由小王做，但是发现小王做不出来，或者身体不舒服生病了，然后把这项工作交给了小张做。其实目的就是完成工作，领导来调度，完成最终的目标。...

元旦学习了阿里云的云原生公开课，然后做一些笔记。放视频学习的连接：https://edu.aliyun.com/lesson_1651_13078?spm=5176.10731542.0.0.2b4020bebX13uW#_13078# #开篇什么是云原生# #想要做云原生，都要有哪些技术支撑呢 其实云源云原生就是想做一件事，需要开发从开始就考虑在云上运行。# #云原生技术点...

前言通过JWT配合Spring Security OAuth2使用的方式，可以避免每次请求都远程调度认证授权服务。资源服务器只需要从授权服务器验证一次，返回JWT。返回的JWT包含了用户的所有信息，包括权限信息。正文1. 什么是JWTJSON Web Token（JWT）是一种开放的标准（RFC 7519），JWT定义了一种紧凑且自包含的标准，旨在将各个主体的信息包装为JSON对象。主体信息是通过数字签名进行加密和验证的。经常使用...

单点登录是多域名企业站点流行的登录方式。本文以现实生活场景辅助理解，力争彻底理清 OAuth2.0 实现单点登录的原理流程。同时总结了权限控制的实现方案，及其在微服务架构中的应用。作者：王克锋出处：https://kefeng.wang/2018/04/06/oauth2-sso/版权：自由转载-非商用-非衍生-保持署名，转载请标明作者和出处。1 什么是单点登录1.1 多点登录传统的多点登录系统中，每个站点都实现了本站专用的帐号数据库和登录模块。各站点的登录状态相互不认可，各站点需要逐一手...

先说一下，我为什么了解到了网关上来了。 公司有好几个系统维护，它们都需要鉴权。然后有人提出了想要单点登录。 我们之前的鉴权是针对各个系统的，整个链路的调用是，用户的请求直接到了服务上，然后服务又去远程调用了鉴权，通过则返回结果，不通过则拦截。 这和我想的不一样，我想的是，所有的请求应该到统一的一个地方，然后这个地方负责统一的权限认证，负责单点登录，负责负载均衡，负责限流，还负责审查，和监控。# #最终锁定了：网关 这个技术就是我想找到，它可以解决我想要解决的的问题。除...

为什么需要API网关？最近看到了一篇 API 网关的文章，介绍了其三种角色：API 管理、集群入口控制、API 网关模式，最后还讲了与服务网格的关系，通过此文可以更全面的理解 API 网关的作用。作者：蚊子squirrel 译来源：简书|2020-12-04 09:11最近看到了一篇 API 网关的文章，介绍了其三种角色：API 管理、集群入口控制、API 网关模式，最后还讲了与服务网格的关系，通过此文可以更全面的理解 API 网关的作用。图片来自 Pexels这些年来，API 网关

问题描述：我们在工作中，可能会遇到这样的情况，我们的服务器在国外。我们使用xshell去远程连接，然后想要文件上传下载，一般使用配套的Xftp工具。对于国外的服务器，使用Xftp的时候，真的是，速度超级慢，毫不夸张的说，几十k每秒的速度，对于几十兆的文件还好说，对于上G的文件，差不多得一天。网上尝试找了各种方案，就不太好。今天一个偶然的想法，尝试一下，问题解决了。# #解决问题的思路 可以想：我们的需求就是从国外的服务器A上，把几个G的文件下载到我们的内网使用的机...

logstash和beats的关系好多人都觉得beats出来是用来替代logstash的。实际上并不是，beats只是用来优化logstash的，因为logstash消耗的性能比较多。如果只是单纯的为了收集日志，使用logstash就有点大材小用了，另外有点浪费资源。而beats是轻量级的用来收集日志的。而logstash更加专注一件事，那就是数据转换，格式化，等处理工作。比方说，日志数据是一行一行的非格式化的数据，想要存在elasticsearch就要有一定的结构。logstash就可以...

前言很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如何存储。文章中我以Elasticsearch 2.3版本为示例，对应的lucene版本是5.5，

一、Scroll简介官网地址Scrollscroll查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询，而又不用付出深度分页那种代价。游标查询允许我们 先做查询初始化，然后再批量地拉取结果。 这有点儿像传统数据库中的cursor。游标查询会取某个时间点的快照数据。 查询初始化之后索引上的任何变化会被它忽略。 它通过保存旧的数据文件来实现这个特性，结果就像保留初始化时的索引视图一样。深度分页的代价根源是结果集全局排序，如果去掉全局排序的特性的话查询结果的成本...

为了优化我的查询时间，我想要跳过嵌套查询和父子关联查询，其实有很多时候我的查询条件，关注的是有没有，而不是是什么。所以我完全可以通过打标签的方式，跳过嵌套查询和父子关联查询。 举个栗子：我的软件信息是嵌套类型的，而我展示结果的时候想要把带有软件信息的放在前边展示。这个需求里边我并不关注软件的内容，关注的只是有软件信息的。但是我查询条件在做打分排序的时候，我需要对软件的字段进行should，它是嵌套查询的。 基于以上想法，我想把包含软件信息的打上一个标签：这样我查的时候，只需要对非嵌套...

这段时间，调研学习了k8s.之前看过尚硅谷的讲解视频（比较系统，对原理方面，讲解的比较透彻）：https://www.bilibili.com/video/BV1w4411y7Go?from=search&seid=16902142672080150822还看过千峰李卫民的k8s（这个原理方面没讲太多，但是可以快速入门，快速学习，可以快速的搭一套k8s）：https://www.bilibili.com/video/av52359802/?p=2以及千峰配配套的文档：https://w.

一次通宵加班的经历，总结需要因为不注意，而带来的麻烦。既然是通宵加班，那么肯定是比较着急的项目。它一定有有个标签，那就是压力。在压力下编程，会让问题放大。如果编程习惯不好的话，问题就会更多。# #第一个问题，面向错误编程 之前在12306做开发时候，领导问我：你这里怎么不做为空的判断，我说这是别人传给我的参数。理想情况下，这当然不会是一个空的数据。实际上我们在编程的时候，还是要面向错误去编程的。即使是一个百分百正确的数据，也是理想情况下，根据莫非定律，有可能会发生的事，一定会发生。...

正常情况下，我们写的服务是http的。但是如何才能让我们的服务提供https服务？跟着我这篇文章，简单三步就可以让你的服务从http变成https服务！先讲怎么做，最后讲原理##第一步，生成证书找到我们安装JDK的bin目录在bin目录下，输入cmd按回车然后看到，下边的命令行工具，输入以下内容，然后按回车，就让输入密钥库的口令，也就是设置一个密码。输入以后按回车，然后再确认输入再按回车。然后让输入名字单位之类的，可以直接回车，一路回车就生成成功...

iftop流量监控（找出服务器耗费流量最多的ip和端口）目录一、iftop是什么 二、界面说明 三、常用参数 四、进入界面后的操作 一般参数 主机参数 端口显示参数 输出排序参数 五、使用示例 1.显示网卡eth0的信息，主机通过ip显示 2.显示端口号（添加-P参数，进入界面可通过p参数关闭） 3.显示将输出以byte为单位显示网卡流量,默认是bit 4.显示流量进度条 5.显示每个连接的总流量 6.显示指定ip 172.17.1.158的流量.

ES的Heap内存基本上被Segment Memory、Filter Cache、Field Data Cache、Bulk Queue、Indexing Buffer、Cluster State Buffer、各类聚合查询的结果集fetch所消耗掉，具体情况如下：一、Segment Memory1、Segment不是file吗？segment memory又是什么？前面提到过，一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典 (Term Dictionary)到文档列表(P

觉得这个方案比较不错，转载学习。日后可能会用到，来迁移集群，不管是从共有云还是私有云。作者介绍李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。前言Elastic自身设计了集群分片的负载平衡机制，当有新.

领到说：小张，今天你把es的检索速度优化到一秒以内再下班！我（心想）：今天回不了家了。领导又说：小张，你怎么一个星期都没回家了？我：...不想做调优的开发人员，就不是好的开发人员！在使用elasticsearch的过程中，一定会遇到elasticsearch检索速度慢的问题，那为什么别人的就是秒级别返回结果，咱们的系统就是好多个秒才返回呢！其中关于elasticsearch的调优思路：包含但不限于：Nested慢查询、集群查询慢、range查询慢等问题。看看大家关...

在 Elasticsearch 日常运维中，有时候要对集群的某一个节点进行下线、上线操作，比如增加磁盘，扩展内存，版本升级，或节点回收等。本文就根据近期的一次生产实践，梳理如何实现 Elasticsearch 节点平滑下线。所谓平滑下线，是指服务不中断，不影响正常的数据写入和业务查询。首先我们不能直接 kill 服务进程，这样可能会造成数据丢失，影响正常业务。下面整理了正确的操作步骤。一、检查集群配置，避免脑裂问题在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 m

对于一心想要优化集群的我们来说，可能会在网上穷尽各种帖子，来找到优化的方案。 其中很多的讲解食品里边，和百分之九十的关于es性能优化的帖子里边，都写着强行的段合并会带来很多的好处。 我在段合并之后，就发现磁盘占用的空间更大了！还不止这些。 所以这篇文章，就是想要纠正一个问题，不要随意的进行强制段合并。很多文章都是断章取义，我大概知道网上现存的一些关于es优化的一些文章，基本上都是从官网上摘取的。# #到底要不要进行段合并 网上的很多优化的文章告诉我们，段合并，会带来性能...

这篇文章主要讲使用es自带的api，来查看集群的状态，分片的情况，索引的情况。一、简述ES监控的最主要作用是用于监控ES的服务是否正常运行，以及在出现问题时为提供解决问题提供依据。目前ES监控主要针对三个级别分别是：集群级别、节点级别和索引级别。集群级别的监控主要是针对整个ES集群来说，包括集群的健康状况、集群的状态等。节点级别的监控主要是针对每个ES实例的监控，其中包括每个实例的查询索引指标和物理资源使用指标。索引级别的监控主要是针对每个索引来说，主要包括每个索引的性能指标，由于是针对每个.

# #三个核心组件buffer chanal selector# #三大组件之间的对应关系selector 上边是和线程相对应的，一对一的关系；selector 下边是和chanal对应的，一对多的关系；chanal 下边是个buffer对应的，一对一的关系；buffer是和管道对应的，连接程序的一次请求。# #核心组件分解——bufferBuffer类是java中，缓冲区的顶级父类，它有不同数据类型的子类buf...

# #通过一张图来比对 描述：左边的是BIO，右边的是NIO 计算机技术发展的本质，就是对计算机资源合理的压榨。 对比：BIO其实是靠线程和客户端连接起来的。客户端的连接，对接的是线程。不同的客户端，就要有不同的线程来应对。而阻塞就是发生在线程上，当线程没有通信任务的任务的时候，就在阻塞这。可以理解为偷懒，它占用的系统资源，但是没干活。而BIO就是要解决这个偷懒的问题。客户端通信连接的是buffer，而不是线程，NIO里边的线程，是监听一批通道。所以这些线程都在干着活儿。...

今天看到了一篇文章，一个五年阿里人写的，再一次唤醒我对阿里的向往。https://www.hollischuang.com/archives/5367另外还看到他的一篇文章：在阿里工作5年了，斗胆谈谈我认为的高级开发到底应该是怎样的？这篇文章就像是一把尺子，来衡量我的度。# #开发人员，应该具备哪些能力？ 说起开发人员，好像应该有一个分类，实习生，初级开发人员，高级开发人员，架构师，领域专家。但是非常认可下边的一个提炼。我觉得以下的能力，不用分什么级别，具备下边的能力...

需求：想要在程序退出的时候，能够进行一些文件的清理，能够进行一些资源的释放，一些运行时的数据的保存。还有一个需求是在退出的时候，需要将阻塞队列里边的数据，处理完再退出。 说明：springboot项目 关闭程序的时候，只能使用kill pid的方式终止程序，不能使用kill -9 pid的方式。因为kill -9的方式，会直接退出。这个这里不过多的赘述了。# #解决方案 在application启动类里边添加如下...

这是我想不到的，刚实习结束，就要做面试官。挑选别人的简历，然后安排机试，笔试，以及最后的面试。我简单的谈一下，在整个过程中的感受，希望能给投简历要参加面试的小朋友一点吧帮助吧！# #招人的目的为什么要找人？不是想招就招吗？其实不然，招人要么是做备胎，就是我现在不缺人，但是领导未雨绸缪，放长线钓大鱼。拉长时间，从一大批人里边挑选出来一小撮人。最后在确缺人的时候，再安排最后一次面试，然后录用。第二个原因，也是主要的原因，就是项目组缺人了，我要招一个过来，给组内分担工作。...

问题描述，拿到服务器，部署服务，然后测试，发现服务拒绝链接了。首先使用telnet 10.10.10.10 5566 （ip是服务器的ip 端口是5566） 测试服务是否能连接上。果然不通，查看了防火墙的状态，竟然是关着的，于是打开的防火墙，并对外开放端口。# #程序员的思维，万物皆可增删改查 操作的对象就是防火墙。 centos默认是没有启动的，所以需要启动一下，才能操作# #查看防火墙状态systemctl status firewalld下边的...

其实使用Docker，虽然简单了，但是也不是我们想象中那么简单，如果没有人带的话，有许多问题都需要自己踩坑。比方说，想要在基础镜像里边部署我们的java项目，拉取下来的基础镜像，其实是最简单的内核，没有jdk，没有中文环境，这个表现出来的就是中文乱码。更严重的是，如果项目想要创建中文的文件夹，或者文件，就会变成问号，导致项目出问题。还有就是如果在里边部署数据库，我们的项目在根据服务器获取时间的话，写入到数据库，就会出现时间不对的情况，我遇到的是差一个时区，六个小时。 上边的问题，如果一步一步的搜..

在文章中会把elasticsearch写作eselasticsearch和传统上的数据库还是有很大差别的，从操作的角度和逻辑角度上来看，似乎是相同的，都是增删改查。 # #elasticsearch删除和关系型数据库不同的地方 但是这些真的不是一回事，比方说在mysql中的删除，就是从磁盘上删除，而elasticsearch中的删除，并不会马上删除而只是标记删除。而删除的时间点是进行段合并的时候。可以顺着谈一下段合并，es是一个近实时的，因为在默认情况下，es每秒进行一次刷...

很推荐这本书，学习elasticsearch链接：https://pan.baidu.com/s/1pblYSonWAwMb9UmXOofiAg提取码：2esf

查看某文件夹下文件的个数，包括子文件夹里的。ls -lR|grep "^-"|wc -l查看某文件夹下文件夹的个数，包括子文件夹里的。ls -lR|grep "^d"|wc -l

# # 写一个服务注意在服务中，我们经常会访问到其他的服务，比如是mysql，比如是redis，甚至是其他的服务。因为之前都习惯了写ip地址，所以项目不能随处挪动，或者换了ip，项目就访问不到了。而使用docker-compose以后，访问你可以使用类似于域名的方式，显然redis就是一个域名，它会记录redis的ip地址# #将我们的服务写到Dockerfile，用于构建镜像将我们的服务写进Dockerfile ，可以看到下边是使用了一个java8的依赖...

如果没有总结，人很容易会忘记自己做过了什么，和接下来要做什么。增长的也不过只有年龄罢了！ 这篇文章，是自己写给自己的一周年的总结。文章主要记录一些这一年发生的事，留作纪念；一年来，工作上的成长总结；还有自己今后要走的路，发展的方向！ 现在是 2020-08-23，周日，原定于这篇文章应该写在周五的，也就是我做开发一周年的前一个星期。但是因为周五晚上爬山，走的太急了，不小心踏空摔倒了，拿在手里的手机，给按地上了，内外屏都稀碎。整理了一下心情，换了一个新手机，大概这就是福兮祸之所依，祸兮福之所...

在学习es的优化方案，很多文章提到进行段合并，会提升查询的性能。还参考了官网，但是我觉得并不全对。我的数据是8亿，带一个副本，大概是4T。集群是三台机器500G的内存，SSD固态硬盘，三个master节点，六个数据节点，职责分离。堆内存分配的31G；分配的分片数是两百，通过在kibana上执行这个命令:来进行段合并。POST index/_forcemerge?max_num_segments=1 以下的截图：是我在进行段合并的时候，对我的集群状态进行一个截图，包含...

# # 第一步选择时区sudo tzselect这个命令会让输入root用户的密码接着按照下边的输入对应的数字就好了，先选择亚洲 4选择中国 9 ；接着在最后边确认一下时间，没问题的话输入 1出来这个# #第二步，再用下边的命令再执行一条命令 sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# #第三步，确认时间一条命令，查看时间是否修改成功...

段是lucene组织数据的单位从极客课程中学到，段会在RefreshInterval的时候产生，如果我们对实时性要求不高的情况下，我们可以适当调整刷新的时间间隔为分钟级别，甚至在大量的同步数据，和写数据的时候，可以设置为 -1 我们可以通过以下操作，对段进行合并。...

截了一张测试环境的图，来看一下不同角色的节点，对不同集群资源的要求。搭建的集群，是三个master节点，以及六个数据节点。##以下是所有的的节点的负载情况从下边的图中可以看出来，我们并不需要对master节点分配太多的堆内存。这个根据自己的使用再合理的调配。## 其中一个master节点的情况：可以看到，其实我把主节点的堆内存分配的太大了，这就造成了资源的浪费。## 这是一个数据节点的情况：##master节点垃圾回收的情况...

我这个错误是在es其中失败的时候报出来的：Caused by: java.security.UnrecoverableKeyException: failed to decrypt safe contents entry: javax.crypto.BadPaddingException: Given final block not properly padded. Such issues can arise if a bad key is used during decryption.# #错..

启动es的时候报错如下：[2020-07-06T05:06:38,998][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [reading_10.10.10.2_master] uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access deni...

# #建议看下这篇文章https://blog.csdn.net/u013613428/article/details/103317806

es集群安全认证添加用户密码的时候，执行./bin/elasticsearch-setup-passwords interactive报错如下# # 原因是需要注释掉：yml里边的配置添加完密码以后再打开