我是Alvin家鸡鸭鱼的小米米

清晨的第一缕阳光,温暖如你

Druid大数据实时处理的开源分布式系统——Coordinator

Druid技术笔记整理第4篇,关于Druid Coordinator Coordinator 主要完成如下功能: 1.  loading new segments 2.  dropping outdated segments 3.  managing segment re...

2017-10-23 11:45:05

阅读数 535

评论数 0

Druid大数据实时处理的开源分布式系统——Broker

第三篇,关于Druid的Broker节点 Broker节点接收来自外部客户端的查询,并将这些查询转发到Realtime和Historical节点。当Broker节点收到结果,它们将合并这些结果并将它们返回给调用者。由于了解拓扑,Broker节点使用Zookeeper来确定哪些Realtime...

2017-10-23 11:38:12

阅读数 1104

评论数 0

Druid大数据实时处理的开源分布式系统——Historical Node

最近开始整理有关Druid的技术知识。以下是第二篇关于Historical Node。 Historical 主要完成如下功能: 1. Loading and ServingSegments 2. Loading and ServingSegments From Cache Histor...

2017-10-23 11:25:10

阅读数 455

评论数 0

关于高并发支付、秒杀的一些设计思路

于高并发支付、秒杀的一些设计思路   一、问题描述 高并发支付和秒杀的场景有很多,Amazon黑色星期五、天猫双11促销、京东618等情况都是如此。假如Amazon某件低价商品只有100个,库存也就是这100份,不会再变了。在00:00秒杀开抢的那一刻,会涌入非常多的流量进程查询(Read)和下...

2017-10-22 14:02:42

阅读数 2487

评论数 0

Druid大数据实时处理的开源分布式系统——介绍

Abstract Druid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级以内对十亿行级别的表进行任意的探索分析。以下将详细阐述Druid的架构,如何支持快速聚合、灵活...

2017-10-22 13:13:20

阅读数 2912

评论数 0

Flink新一代流式计算框架的体系架构及应用

近期在海数据社区的组织下,做了一次flink的技术分享,现在将技术分享的ppt和会议纪要做一个link。 https://www.hibigdata.cn/a/info/1/201.html

2017-10-22 13:04:22

阅读数 738

评论数 0

原生Quartz 使用与配置

内容列表 使用流来遍历集合。 从集合或数组创建流。 聚合流中的值。 1. 使用流来遍历集合 简介: Java的集合框架,如List和Map接口及Arraylist和HashMap类,让我们很容易地管理有序和无序集合。集合框架自引入的第一天起就在 持续的改进。在Java SE ...

2015-10-16 17:04:01

阅读数 454

评论数 0

Java中的static关键字解析

当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。...

2015-10-16 16:58:23

阅读数 1174

评论数 2

Java线程池架构原理和源码解析(ThreadPoolExecutor)

使用Executors最常用的莫过于是使用:Executors.newFixedThreadPool(int)这个方法,因为它既可以限制数量,而且线程用完后不会一直被cache住;那么就通过它来看看源码,回过头来再看其他构造方法的区别: 在《java之JUC系列-外部Tools》文章中提到了构造...

2015-10-16 16:52:26

阅读数 367

评论数 0

Timer定时任务

1. kingshard的应用场景 现在很多互联网公司还是在大量使用MySQL来存储各种类型的关系型数据。随着访问量和数据量的增长,开发者不得不考虑一些MySQL相关的新问题: 读写分离问题。由于前端应用访问量增加,单台MySQL不足以支撑整个系统的写入和查询操作。这时候,我们不得不将一些...

2015-10-16 16:48:37

阅读数 675

评论数 0

Quartz集群配置与原理解析

概述 日志技术为产品的质量和服务提供了重要的支撑。JDK 在 1.4 版本以后加入了日志机制,为 Java 开发人员提供了便利。但这种日志机制是基于静态日志级别的,也就是在程序运行前就需设定下来要打印的日志级别,这样就会带来一些不便。 在 JDK 提供的日志功能中,日志级别被细化为 9 ...

2015-10-16 16:45:19

阅读数 833

评论数 1

Heron 新一代流处理框架详解

最近公司需要开发新的流式ETL框架,我负责调研和测试Storm/Heron框架。Storm已经是非常成熟的流式处理框架了,在很多公司都在用,但是它在设计上也有诸多诟病,于是Twiter又开发了新的框架来代替Strom,这就是Strom2.0的Heron框架。             既然是要深入研...

2015-10-16 16:36:44

阅读数 1581

评论数 0

mysql大数据量下的操作以及优化

一、为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作。迁移,究其本义,无非是把实际存在的物体挪走,保证该物体的完整性以及延续性。就像柔软的沙滩上,两个天真无邪的小孩,把一堆沙子挪向其他地方,铸就内心神往的城堡。 生产环境中,有以下情况需要做迁移工作,如下: 1、磁盘空间不够。比...

2015-10-16 16:34:51

阅读数 2089

评论数 0

mysql的锁机制总结

缓存机制在我们的实际研发工作中,被极其广泛地应用,通过这些缓存机制来提升系统交互的效率。简单的总结来说,就是在两个环节或者系统之间,会引入一个cache/buffer做为提升整体效率的角色。 而 有趣的是,这种缓存机制令人惊奇并且优美的遵循着“几何分形”的规律,也就是几何分形学中的“自相似性”:...

2015-10-16 16:19:36

阅读数 395

评论数 0

如何用消息系统避免分布式事务

HashMap是一种用哈希值来存储和查找键值对(key-value pair,也称作entry)的一种数据结构。 为了正确使用HashMap,选择恰当的Key是非常重要的。Key在HashMap里是不可重复的。 1、什么是可变对象 可变对象是指创建后自身状态能改变的对象。换句话说,可变对象是...

2015-10-16 16:13:15

阅读数 392

评论数 0

系统分布式情况下最终一致性方案梳理

前言 目前的应用系统,不管是企业级应用还是互联网应用,最终数据的一致性是每个应用系统都要面临的问题,随着分布式的逐渐普及,数据一致性更加艰难,但是也很难有银弹的解决方案,也并不是引入特定的中间件或者特定的开源框架能够解决的,更多的还是看业务场景,根据场景来给出解决方案。根据笔者最近几年的了解,...

2015-10-16 16:05:54

阅读数 812

评论数 0

分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。 于是我们不得不对我们的服务器进行扩展,加入更多的机器来分担性能上的问题,以及来解决单...

2015-10-16 16:03:27

阅读数 416

评论数 0

Mongodb Cluster

高吞吐量系统 举一个例子,我们做项目需要安排计划,每一个模块可以由多人同时并行做多项任务,也可以一个人或者多个人串行工作,但始终会有一条关键路径,这条路径就是项目的工期。系统一次调用的响应时间跟项目计划一样,也有一条关键路径,这个关键路径是就是系统影响时间。关键路径由 CPU 运算、IO、外部系...

2015-10-12 17:27:37

阅读数 1337

评论数 0

每秒处理10万订单的支付架构

抢购业务介绍 抢购、闪购,从国外风靡后,国内各类网站都开始做相似的业务,我们耳熟能详的唯品会、淘宝、京东都有这类业务。抢购,更多出现在电商网站。那么,今天和大家一起学习下抢购业务形态的业务架构设计。 我们常见的抢购业务分两种: 限时抢购、限量抢购,我简单分了下这些case,如下图: 想...

2015-09-21 14:45:38

阅读数 5954

评论数 0

Redis学习笔记

根据公司redis的使用经验,把自己的一些理解总结成笔记。 分布式系统:其实就是有多个数据库,需要进行垮裤操作的分布式应用。 分布式分系统为何产生: 第一,比如互联网环境的应用系统,业务需求复杂,必须进行系统级别的垂直拆分,保证各个业务的业务清晰,各自部署对外提供服务...

2015-09-09 13:31:32

阅读数 1048

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭