baishancha的博客

原创 zabbix监控hadoop集群

**Git地址：https://github.com/jihang-web/zabbix-hadoop.git**

原创 zookeeper的选举机制

一、选举机制1. 第一阶段：数据恢复阶段每台Zookeeper服务器在启动的时候，都会从本地的数据目录中找到自己所拥有的最大事务id。2. 第二阶段：选举阶段每一个Zookeeper的服务器都会推荐自己当leade并且提交选举协议： a. 自己所拥有的最大事务id - Zxid b. 自己的选举id - myid c. 逻辑时钟值，作用是确保每一台Zookeeper服务器都会处在同一轮选举中3. 节点状态 a. Looking - 选举状态 b. follower - 追随者 c. l

原创 ZAB协议和2PC算法

ZAB协议一、概述1. ZAB（Zookeeper Atomic Broadcast）协议是为分布式协调服务ZooKeeper专门设计的一种支持崩溃恢复的原子广播协议2. ZAB协议是一种特别为ZooKeeper设计的崩溃可恢复的原子消息广播算法。这个算法是一种类2PC算法，在2PC基础上做的改进3. ZAB协议包括两种基本的模式，分别是： a. 消息原子广播（保证数据一致性） b. 崩溃恢复（解决2pc算法的单点问题）二、消息原子广播1. 在ZooKeeper中，主要依赖ZAB协议来实现

原创 Canal

原创 单节点mongo安装

TODO:mongo集群等一、目录规划/export/server/mongodb二、下载安装wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.6.3.tgz，并将文件解压或移动/export/server/mongodbtar -xzf mongodb-linux-x86_64-3.6.3.tgz -C /export/server/三、配置1)在 /export/server/mongodb/bin 文件夹添加mong

原创 GrayLog日志平台

graylog由Graylog Collector -> Graylog Server -> Graylog Web 三部分组成，在官方给出的参考文档(http://docs.graylog.org/)中，给出的推荐方案是：MongoDB + elasticsearch + graylog的方案。建议与考虑：在为Graylog扩展资源时，有一些经验法则：• Graylog节点应重点关注CPU功能。这些还可以为浏览器提供用户界面。• Elasticsearch节点应具有尽可能多的RAM和可

翻译 graylog-server配置文件详解

graylog-server• is_master = trueo 如果您正在运行多个Graylog服务器实例，则只需选择一个graylog-server节点作为主节点。该节点将执行从属节点不会执行的定期和维护操作。o 每个从属节点都将像主节点一样接受消息。如果集群中已存在主节点，则节点将退回到从属模式。• node_id_file = /etc/graylog/server/o 自动生成的节点ID将存储在此文件中，并在重新启动后读取。如果要从初始化脚本或类似脚本启动Graylog服务器，则在此处

原创 MINIO分布式集群搭建

搭建分布式集群使用docker-compose中文文档：https://docs.min.io/cn/deploy-minio-on-docker-compose.htmlDocker Compose允许定义和运行单主机，多容器Docker应用程序。使用Compose，您可以使用Compose文件来配置MinIO服务。 然后，使用单个命令，您可以通过你的配置创建并启动所有分布式MinIO实例。 分布式MinIO实例将部署在同一主机上的多个容器中。 这是建立基于分布式MinIO的开发，测试和分期环

原创 zabbix集成微信公众号报警

注册企业微信添加一个部门，并记住ID，将用户加入创建的部门中创建一个自建的程序记住AgentID和Secret的号在我的企业的栏中找到我的企业ID，记录下获取weixin脚本#!/usr/bin/env pythonimport requestsimport sysimport osimport jsonimport logginglogging.basicConfig(level = logging.DEBUG, format = '%(asctime)s, %(fi.

原创 linux切换用户非常慢

linux切换用户非常慢问题解决问题描述：当执行命令 su - 用户 的时候非常慢，高达20秒解决过程：先查看cpu，负载等问题，经查看，处于正常水平查看/etc/hosts文件内容是否正常查看进程状态：systemctl status systemd-logind发现如下报错解决方法systemctl restart systemd-logind...

原创 rabbitmq

1.RabbitMQ是什么实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用erlang语言编写的，企业级消息代理软件。实现了服务之间的解耦2.为什么要使用RabbitMQ 解耦、异步、削峰在分布式系统下具备异步,削峰,负载均衡等一系列高级功能;拥有持久化的机制，进程消息，队列中的信息也可以保存下来。实现消费者和生产者之间的解耦。对...

原创 mycat

1.Mycat号称中国第一开源数据库中间件，支持高性能的读写分离，最大的百亿级的达标水平分片并行计算，支持数据整合输入和整合输出2.Mycat的原理实现的是对客户端发起的sql访问做拦截，计算分片的位置，计算读写分离的逻辑，获取一个要执行的sql语句的后端数据库连接，获取数据，返回客户端。 3.同类的产品cobar：存在后端数据库假死的情况，在高并发环境中，由于后端开发的技术基于阻塞线程...

原创 reids面试题

1.redis是什么？是一个支持nosql，key-value数据类型，内存，可以持久化，缓存，分布式的，非关系型数据库内存：redis在运行几件，使用的是内存资源作为数据库存储数据，具有内存的致命缺陷(容量上限)可持久化：存储在redis内存中的数据，可以设置持久化策略，在断电内存数据丢失时，重启redis可以从磁盘文件重新读取数据(这是占据市场的重要技术点)支持分布式集群，可以使用r...

原创 SpringMVC

1.SpringMVC是什么？SpringMVC是一个web层，控制层框架，主要用来负责与客户端交互，业务逻辑的调用，简化开发，实现解耦可以支持各种视图技术,而不仅仅局限于JSP；支持各种请求资源的映射策略2.SpringMVC的组件a.前端控制器本质上是一个servlet，相当于一个中转站，所有的访问都会走到这个servlet中，再根据配置进行中转到相应的Handler中进行处理，获...

原创 Spring面试题

1.Spring是什么？spring是一个轻量级的IOC和aop的容器框架，是为Java程序提供基础性服务的框架，用于简化程序的开发。2.Spring的优点？spring属于低侵入式设计，代码的污染低spring的ioc称之为控制反转，简答的来说就是将对象的创建以及对象生命周期的管理交给了spring框架来管理，从此在开发的过程中，不在需要关注这些细节，而是在需要的时候有spring框架...

原创 #{} 和 ${}区别

{} 和 ${}区别#{}在引用时，如果发现目标是一个字符串，则会将其值作为一个字符串拼接在sql上,即拼接时自动包裹引号${}在引用时，即使发现目标是一个字符串，也不会作为字符串处理，拼接在sql时不会自动包裹引号例如：所以通常情况下，使用#{}insert into user values (null,#{name},55); --> insert into user valu...

翻译 hash一致性

1.分片计算中,hash取余算法的缺点在使用redis集群时,hash取余(key.hashCode()&Integer.MAX_VALUE%N),存在两个缺点• 数据倾斜不可避免(只要是散列hash,数据计算结果倾斜必定存在)• 扩容缩容集群时,数据迁移量过大(重点) @Test public void test08(){ int count=0; for(int i...

翻译 redis集群命令

集群cluster info ：打印集群的信息cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息。节点cluster meet  ：将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。cluster forget <node_id> ：从集群中移除 node_id 指定...

翻译 槽道原理

1. 槽道原理解决的2个问题• 节点redis-server接收写命令之后,根据key的计算结果槽道号判断所属权?• 判断所属权失败(false),从哪获取正确槽道的管理信息(节点ip:port)?2. 槽道原理2.1槽道的组成部分• 16384位的二进制,本质上一个2048个元素的byte数组;通过对二进制的计算,获取(自定义的)下标,下标正好对应的槽道号,每个维护槽道的节点都会存储这...

原创 SpringMVC字符编码过滤器对于中文get请求乱码问题的解决方法

<filter> <filter-name>encodingFilter</filter-name> <filter-class> org.springframework.web.filter.CharacterEncodingFilter </filter-class&g...

原创 Spring概述以及配置myeclipse环境玩转spring

1. 框架概述所谓的框架其实就是程序的架子，在这个程序的架子中，搭建起程序的基本的骨架，针对程序的通用问题给出了便捷的解决方案，可以使开发人员 基于框架快速开发具体的应用程序。2. spring概述Spring是一个Service层的框架，可以整合许多其它框架进行工作。Spring的主要技术是 IOC(DI) AOPIOC(DI) - 控制反转(依赖注入)AOP - 面向切面编程3....