chinusyan的专栏

gRPC-go 基础

gRPC-go 基础

ES 进阶

ES 基础

1、kafka原理生产者生产者是一个向kafka Cluster发布记录的客户端；生产者是线程安全的，跨线程共享单个生产者实例通常比具有多个实例更快。必要条件生产者要进行生产数据到kafka Cluster中，必要条件有以下三个：#1、地址bootstrap.servers=node01:9092#2、序列化 key.serializer=org.apache.kafka.common.serialization.StringSerializer value.serializer=org.a

消息系统：1、消息系统的应用场景1.1、应用解耦将一个大型的任务系统分成若干个小模块，将所有的消息进行统一的管理和存储，因此为了解耦，就会涉及到kafka企业级消息平台1.2、流量控制秒杀活动当中，一般会因为流量过大，应用服务器挂掉，为了解决这个问题，一般需要在应用前端加上消息队列以控制访问流量。1、可以控制活动的人数 可以缓解短时间内流量大使得服务器崩掉2、可以通过队列进行数据缓存，后续再进行消费处理1.3、日志处理日志处理指将消息队列用在日志处理中，比如kafka的应用中，解决大量的日

数据输入和输出创建新文档当我们索引一个文档，怎么确认我们正在创建一个完全新的文档，而不是覆盖现有的呢？请记住， _index 、 _type 和 _id 的组合可以唯一标识一个文档。所以，确保创建一个新文档的最简单办法是，使用索引请求的 POST 形式让 Elasticsearch 自动生成唯一 _id :POST /website/blog/{ ... }然而，如果已经有自己的 _id ，那么我们必须告诉 Elasticsearch ，只有在相同的 _index 、 _type 和 _id

集群内的原理ElasticSearch 的主旨是随时可用和按需扩容。而扩容可以通过购买性能更强大（ 垂直扩容 ，或 纵向扩容 ） 或者数量更多的服务器（ 水平扩容 ，或 横向扩容 ）来实现。虽然 Elasticsearch 可以获益于更强大的硬件设备，但是垂直扩容是有极限的。 真正的扩容能力是来自于水平扩容—​为集群添加更多的节点，并且将负载压力和稳定性分散到这些节点中。对于大多数的数据库而言，通常需要对应用程序进行非常大的改动，才能利用上横向扩容的新增资源。 与之相反的是，ElastiSearch

温故知新-分布式-分布式Id生成算法&踩过的坑1、SnowFlake理解分布式id生成算法SnowFlake分布式id生成算法的有很多种，Twitter的SnowFlake就是其中经典的一种。概述SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图：由于在Java中64bit的整数是long类型，所以在Java中SnowFlake算法生成的id就是long来存储的。SnowFlake可以保证：所有生成的id按时间趋势递增整个分布式系统内不会产生重

分布式文档存储1、路由一个文档到一个分片中Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？当我们创建文档时，它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢？根据下面这个公式决定的：shard = hash(routing) % number_of_primary_shardsrouting 是一个可变值，默认是文档的 _id ，也可以设置成一个自定义的值。 routing 通过 hash 函数生成一个数字，然后这个数字再除以 number_of_primary_s

1、 本地事务起初，事务仅限于对单一数据库资源的访问控制,架构服务化以后，事务的概念延伸到了服务中。倘若将一个单一的服务操作作为一个事务，那么整个服务操作只能涉及一个单一的数据库资源,这类基于单个服务单一数据库资源访问的事务，被称为本地事务(Local Transaction)。...

Logstash-介绍

canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。...

elasticsearch.yml 配置项详解cluster.name: elasticsearch#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"#节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master: true#指定该节点是否有

elasticsearch-head插件实现数据查找的，但是elasticsearch-head的功能比较单一，我们这里需要一个更专业的工具实现对日志的实时分析，也就是我们接下来要讲的kibana。Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。Kibana

一、docker的介绍Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。这样就可以不用单独使用其他的运输工具。大家都用一个标准，搬运集装箱了。1.不同的应用程序可能会有不同的应用环境，有些软件安装之后会有端口之间的冲突，这时候，可以使用虚拟机来实现隔离，但是使用虚拟机的成本太高，而且消耗硬件。2.不同的软件的环境都不一样，比如：你用的是乌班图，里面有个数据库，现在要迁移到centos中，但是

1、关闭索引关闭索引 POST /my_index/_close关闭索引后, 不能再对索引进行读写. 都会报错.索引数据会持久化到磁盘, 不再占用内存资源如果需要时, 可以再开启索引 POST /my_index/_open

接上篇一、ElasticSearch常用编程操作1.索引相关操作1.1创建索引 @Test public void createIndex() { //准备创建索引 ，指定索引名 执行创建的动作（get方法） transportClient.admin().indices().prepareCreate("blog03").get(); }1.2删除索引 //删除索引 @Test public void deleteIndex

一、什么是ElasticSearch？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。ElaticSearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百

接上篇五、RabbitMq高级特性

一、 消息队列MQMQ全称为Message Queue，消息队列是应用程序和应用程序之间的通信方法。

接上篇Dubbo相关配置1：包扫描（dubbo注解配置）<!--【注意】约束头文件用的是appache的dubbo的约束--><dubbo:annotation package="包名" />服务提供者和服务消费者前面章节实现都是基于配置文件进行服务注册与订阅，如果使用包扫描，可以使用注解方式实现@Service注解，会调用dubbo去zookeeper上注册服务。在接口的实现类上使用注解@Reference，会调用dubbo去zookeeper上订阅相应的接口服

主流的互联网技术特点分布式 、高并发、集群、负载均衡、高可用(故障转移)。分布式：一件事情拆开来做。集群：一件事情大家一起做。负载均衡：将请求平均分配到不同的服务器中，达到均衡的目的。高并发：同一时刻，处理同一件事情的处理能力（解决方案：分布式、集群、负载均衡）高可用：系统都是可用的。实现故障转移...

接上篇启动Spring 容器四、watch机制zookeeper作为一款成熟的分布式协调框架，订阅-发布功能是很重要的一个。所谓订阅发布功能，其实说白了就是观察者模式。观察者会订阅一些感兴趣的主题，然后这些主题一旦变化了，就会自动通知到这些观察者。​ zookeeper的订阅发布也就是watch机制，是一个轻量级的设计。因为它采用了一种==推(服务端通知应用)拉（客户端获取服务端数据）==结合的模式。一旦服务端感知主题变了，那么只会发送一个事件类型和节点信息给关注的客户端，而不会包括具体的变更内

zookeeperZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。​ ZooKeeper 适用于存储和协同相关的关键数据，不适合用于大数据量存储。是一个分布式的小文件管理系统，管理分布式服务(Web Service)zookeeper的发展历程ZooKeeper 最早起源于雅虎研究院的一个研究小组。当时研究人员