跨过山和大海的博客

最新java资料分享 帮助有需要的朋友

Kafka控制器选举流程剖析

1.概述 平时在使用Kafka的时候,可能关注的更多的是Kafka系统层面的。今天来给大家剖析一下Kafka的控制器,了解一下Kafka控制器的选举流程。 2.内容 Kafka控制器,其实就是一个Kafka系统的Broker。它除了具有一般Broker的功能之外,还具有选举主题分区Leade...

2018-10-31 17:19:54

阅读数 60

评论数 0

RabbitMQ 内存和磁盘警告

  内存和磁盘警告 有两种情况下,Rabbit MQ会停止读取客户端的连接socket,为了防止crash崩溃,这两种情况是: 内存使用达到配置值 磁盘空间下降到配置值下 在这两种情况下,服务器会临时阻塞连接—服务器会暂停读取发布消息的客户端的连接,连接心跳监控也会被禁用,在rabb...

2018-10-30 15:42:35

阅读数 904

评论数 0

Redis阻塞整理笔记

Redis是典型的单线程架构,所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时,这条线程就变成了它的生命线。如果出现阻塞,哪怕是很短时间,对于应用来说都是噩梦。 导致阻塞问题的原因: 内在原因:不合理地使用API或数据结构、CPU饱和、持久化阻塞等 外在原因:CPU竞争、...

2018-10-29 16:17:39

阅读数 17

评论数 0

ZooKeeper应用——解决分布式系统单点故障

1.单点故障问题 什么是分布式系统中的单点故障:通常分布式系统采用主从模式,就是一个主控机连接多个处理节点。主节点负责分发任务,从节点负责处理任务,当我们的主节点发生故障时,那么整个系统就都瘫痪了,那么我们把这种故障叫作单点故障。 传统方式是采用一个备用节点,这个备用节点定期给当前主节点发送p...

2018-10-28 17:58:33

阅读数 223

评论数 0

原 荐 简单说说Kafka中的时间轮算法

零、时间轮定义 简单说说时间轮吧,它是一个高效的延时队列,或者说定时器。实际上现在网上对于时间轮算法的解释很多,定义也很全,这里引用一下 朱小厮博客 里出现的定义: 参考下图,Kafka中的时间轮(TimingWheel)是一个存储定时任务的环形队列,底层采用数组实现,数组中的每个元素可以存放...

2018-10-26 21:12:38

阅读数 232

评论数 0

谈谈对Spring IOC的理解

学习过Spring框架的人一定都会听过Spring的IoC(控制反转) 、DI(依赖注入)这两个概念,对于初学Spring的人来说,总觉得IoC 、DI这两个概念是模糊不清的,是很难理解的,今天和大家分享网上的一些技术大牛们对Spring框架的IOC的理解以及谈谈我对Spring Ioc的理解。 ...

2018-10-25 16:58:58

阅读数 40

评论数 0

SpringBoot集成redisson(单机,集群,哨兵)

1.springBoot集成redisson(单机,集群,哨兵) redisson版本使用3.8.2 <dependency>       <groupId>org.redisson&lt...

2018-10-24 17:37:59

阅读数 1827

评论数 0

漫画 | Redis常见面试问题

最近,在为接下来的一场面试做准备,其中的内容包括redis,而且redis是重点内容。 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。它支持存储的类型包括string(字符串)、list(链表)、set(...

2018-10-23 16:20:04

阅读数 41

评论数 0

SpringBoot开发案例之整合Dubbo分布式服务

前言 在 SpringBoot 很火热的时候,阿里巴巴的分布式框架 Dubbo 不知是处于什么考虑,在停更N年之后终于进行维护了。在之前的微服务中,使用的是当当维护的版本 Dubbox,整合方式也是使用的 xml 配置方式。 改造前 之前在 SpringBoot 中使用 Dubbox是这样的...

2018-10-22 22:00:16

阅读数 27

评论数 0

分布式事务,原来可以这么玩?

多个数据要同时操作,如何保证数据的完整性,以及一致性? 答 : 事务 ,是常见的做法。 举个栗子: 用户下了一个订单,需要修改 余额表 , 订单 表 , 流水 表 ,于是会有类似的伪代码: start transaction; CURD table t_account; any Exce...

2018-10-21 15:30:18

阅读数 48

评论数 0

高并发的“大杀器”:异步化、并行化

高并发的大杀器:异步化 同步和异步,阻塞和非阻塞 同步和异步,阻塞和非阻塞,这几个词已经是老生常谈,但是还是有很多同学分不清楚,以为同步肯定就是阻塞,异步肯定就是非阻塞,其实他们并不是一回事。 同步和异步关注的是结果消息的通信机制: 同步:调用方需要主动等待结果的返回。 异步:不需要主动...

2018-10-18 15:10:09

阅读数 103

评论数 0

Java并发之Condition的实现分析

一、Condition的概念 介绍 回忆 synchronized 关键字,它配合 Object 的 wait()、notify() 系列方法可以实现等待/通知模式。 对于 Lock,通过 Condition 也可以实现等待/通知模式。 Condition 是一个接口。 Conditio...

2018-10-17 15:18:40

阅读数 23

评论数 0

log4j2发送消息至Kafka

title: 自定义log4j2发送日志到Kafka           tags: log4j2,kafka 为了给公司的大数据平台提供各项目组的日志,而又使各项目组在改动上无感知。做了一番调研后才发现log4j2默认有支持将日志发送到kafka的功能,惊喜之下赶紧看了下log...

2018-10-16 19:17:52

阅读数 1083

评论数 1

使用Docker Swarm搭建分布式爬虫集群

在爬虫开发过程中,你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢?逐一SSH登录每个服务器,使用git拉下代码,然后运行?代码修改了,于是又要一个服务器一个服务器登录上去依次更新? 有时候爬虫只需要在一个服务器上面运行,有时候需要在200个服务器上面运行。你是怎么快速切换...

2018-10-15 19:49:48

阅读数 43

评论数 0

在微服务领域Spring Boot自动伸缩如何实现

自动伸缩是每个人都想要的,尤其是在微服务领域。让我们看看如何在基于Spring Boot的应用程序中实现。 我们决定使用 Kubernetes 、 Pivotal Cloud Foundry 或 HashiCorp's Nomad 等工具的一个更重要的原因是为了让系统可以自动伸缩。当然,这些工具...

2018-10-14 14:45:55

阅读数 87

评论数 0

RabbitMQ交换器Exchange介绍与实践

本章我们重点学习一下Rabbit里面的exchange(交换器)的知识。 交换器分类 RabbitMQ的Exchange(交换器)分为四类: direct(默认) headers fanout topic 其中headers交换器允许你匹配AMQP消息的header而非路由键,除此之外...

2018-10-12 15:00:22

阅读数 37

评论数 0

使用Spring Request-Reply实现基于Kafka的同步请求响应

          大家提到Kafka时第一印象就是它是一个快速的异步消息处理系统,不同于通常tomcat之类应用服务器和前端之间的请求/响应方式请求,客户端发出一个请求,必然会等到一个响应,这种方式对Kafka来说并不自然,Kafka是一种事件驱动方式,事件激活然后响应,这种方式对...

2018-10-11 16:46:09

阅读数 236

评论数 0

使用 Kafka 和 MongoDB 进行 Go 异步处理

在这个示例中,我将数据的保存和 MongoDB 分离,并创建另一个微服务去处理它。我还添加了 Kafka 为消息层服务,这样微服务就可以异步处理它自己关心的东西了。 下面是这个使用了两个微服务的简单的异步处理示例的上层架构图。           微服务 1 —— 是一个 RES...

2018-10-10 17:09:39

阅读数 125

评论数 0

dubbo+zipkin调用链监控

        收集器抽象 由于zipkin支持http以及kafka两种方式上报数据,所以在配置上需要做下抽象。 AbstractZipkinCollectorConfiguration 主要是针对下面两种收集方式的一些配置上的定义,最核心的是Sender接口的定义,http与...

2018-10-09 18:35:33

阅读数 315

评论数 0

流式处理框架storm浅析

前言 前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和spark streaming,我负责storm的调研工作。断断续续花了一周的时间看了官网上的doc和网络上的一些资料。我把所学到的总结成一个文档,发出来给对storm感兴趣的同事做入门引导。 storm背景 ...

2018-10-08 16:25:32

阅读数 34

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭