我是Alvin家鸡鸭鱼的小米米

清晨的第一缕阳光，温暖如你

排序：
默认
按更新时间
按访问量
RSS订阅

原 Druid大数据实时处理的开源分布式系统——Coordinator

Druid技术笔记整理第4篇，关于Druid Coordinator Coordinator 主要完成如下功能： 1.  loading new segments 2.  dropping outdated segments 3.  managing segment re...

2017-10-23 11:45:05

阅读数 535

评论数 0

原 Druid大数据实时处理的开源分布式系统——Broker

第三篇，关于Druid的Broker节点 Broker节点接收来自外部客户端的查询，并将这些查询转发到Realtime和Historical节点。当Broker节点收到结果，它们将合并这些结果并将它们返回给调用者。由于了解拓扑，Broker节点使用Zookeeper来确定哪些Realtime...

2017-10-23 11:38:12

阅读数 1104

评论数 0

原 Druid大数据实时处理的开源分布式系统——Historical Node

最近开始整理有关Druid的技术知识。以下是第二篇关于Historical Node。 Historical 主要完成如下功能： 1. Loading and ServingSegments 2. Loading and ServingSegments From Cache Histor...

2017-10-23 11:25:10

阅读数 455

评论数 0

原 关于高并发支付、秒杀的一些设计思路

于高并发支付、秒杀的一些设计思路   一、问题描述 高并发支付和秒杀的场景有很多，Amazon黑色星期五、天猫双11促销、京东618等情况都是如此。假如Amazon某件低价商品只有100个，库存也就是这100份，不会再变了。在00：00秒杀开抢的那一刻，会涌入非常多的流量进程查询（Read）和下...

2017-10-22 14:02:42

阅读数 2487

评论数 0

原 Druid大数据实时处理的开源分布式系统——介绍

Abstract Druid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层，一个分布式、shared-nothing的架构，和一个高级的索引结构，来达成在秒级以内对十亿行级别的表进行任意的探索分析。以下将详细阐述Druid的架构，如何支持快速聚合、灵活...

2017-10-22 13:13:20

阅读数 2912

评论数 0

原 Flink新一代流式计算框架的体系架构及应用

近期在海数据社区的组织下，做了一次flink的技术分享，现在将技术分享的ppt和会议纪要做一个link。 https://www.hibigdata.cn/a/info/1/201.html

2017-10-22 13:04:22

阅读数 738

评论数 0

原 原生Quartz 使用与配置

内容列表 使用流来遍历集合。 从集合或数组创建流。 聚合流中的值。 1. 使用流来遍历集合 简介： Java的集合框架，如List和Map接口及Arraylist和HashMap类，让我们很容易地管理有序和无序集合。集合框架自引入的第一天起就在 持续的改进。在Java SE ...

2015-10-16 17:04:01

阅读数 454

评论数 0

原 Java中的static关键字解析

当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。...

2015-10-16 16:58:23

阅读数 1174

评论数 2

转 Java线程池架构原理和源码解析(ThreadPoolExecutor)

使用Executors最常用的莫过于是使用：Executors.newFixedThreadPool(int)这个方法，因为它既可以限制数量，而且线程用完后不会一直被cache住；那么就通过它来看看源码，回过头来再看其他构造方法的区别： 在《java之JUC系列-外部Tools》文章中提到了构造...

2015-10-16 16:52:26

阅读数 367

评论数 0

原 Timer定时任务

1. kingshard的应用场景 现在很多互联网公司还是在大量使用MySQL来存储各种类型的关系型数据。随着访问量和数据量的增长，开发者不得不考虑一些MySQL相关的新问题： 读写分离问题。由于前端应用访问量增加，单台MySQL不足以支撑整个系统的写入和查询操作。这时候，我们不得不将一些...

2015-10-16 16:48:37

阅读数 675

评论数 0

转 Quartz集群配置与原理解析

概述 日志技术为产品的质量和服务提供了重要的支撑。JDK 在 1.4 版本以后加入了日志机制，为 Java 开发人员提供了便利。但这种日志机制是基于静态日志级别的，也就是在程序运行前就需设定下来要打印的日志级别，这样就会带来一些不便。 在 JDK 提供的日志功能中，日志级别被细化为 9 ...

2015-10-16 16:45:19

阅读数 833

评论数 1

原 Heron 新一代流处理框架详解

最近公司需要开发新的流式ETL框架，我负责调研和测试Storm/Heron框架。Storm已经是非常成熟的流式处理框架了，在很多公司都在用，但是它在设计上也有诸多诟病，于是Twiter又开发了新的框架来代替Strom，这就是Strom2.0的Heron框架。             既然是要深入研...

2015-10-16 16:36:44

阅读数 1581

评论数 0

原 mysql大数据量下的操作以及优化

一、为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作。迁移，究其本义，无非是把实际存在的物体挪走，保证该物体的完整性以及延续性。就像柔软的沙滩上，两个天真无邪的小孩，把一堆沙子挪向其他地方，铸就内心神往的城堡。 生产环境中，有以下情况需要做迁移工作，如下： 1、磁盘空间不够。比...

2015-10-16 16:34:51

阅读数 2089

评论数 0

原 mysql的锁机制总结

缓存机制在我们的实际研发工作中，被极其广泛地应用，通过这些缓存机制来提升系统交互的效率。简单的总结来说，就是在两个环节或者系统之间，会引入一个cache/buffer做为提升整体效率的角色。 而 有趣的是，这种缓存机制令人惊奇并且优美的遵循着“几何分形”的规律，也就是几何分形学中的“自相似性”：...

2015-10-16 16:19:36

阅读数 395

评论数 0

转 如何用消息系统避免分布式事务

HashMap是一种用哈希值来存储和查找键值对（key-value pair，也称作entry）的一种数据结构。 为了正确使用HashMap，选择恰当的Key是非常重要的。Key在HashMap里是不可重复的。 1、什么是可变对象 可变对象是指创建后自身状态能改变的对象。换句话说，可变对象是...

2015-10-16 16:13:15

阅读数 392

评论数 0

转 系统分布式情况下最终一致性方案梳理

前言 目前的应用系统，不管是企业级应用还是互联网应用，最终数据的一致性是每个应用系统都要面临的问题，随着分布式的逐渐普及，数据一致性更加艰难，但是也很难有银弹的解决方案，也并不是引入特定的中间件或者特定的开源框架能够解决的，更多的还是看业务场景，根据场景来给出解决方案。根据笔者最近几年的了解，...

2015-10-16 16:05:54

阅读数 812

评论数 0

转 分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题： 1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。 于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单...

2015-10-16 16:03:27

阅读数 416

评论数 0

原 Mongodb Cluster

高吞吐量系统 举一个例子，我们做项目需要安排计划，每一个模块可以由多人同时并行做多项任务，也可以一个人或者多个人串行工作，但始终会有一条关键路径，这条路径就是项目的工期。系统一次调用的响应时间跟项目计划一样，也有一条关键路径，这个关键路径是就是系统影响时间。关键路径由 CPU 运算、IO、外部系...

2015-10-12 17:27:37

阅读数 1337

评论数 0

转 每秒处理10万订单的支付架构

抢购业务介绍 抢购、闪购，从国外风靡后，国内各类网站都开始做相似的业务，我们耳熟能详的唯品会、淘宝、京东都有这类业务。抢购，更多出现在电商网站。那么，今天和大家一起学习下抢购业务形态的业务架构设计。 我们常见的抢购业务分两种： 限时抢购、限量抢购，我简单分了下这些case，如下图： 想...

2015-09-21 14:45:38

阅读数 5954

评论数 0

原 Redis学习笔记

根据公司redis的使用经验，把自己的一些理解总结成笔记。 分布式系统：其实就是有多个数据库，需要进行垮裤操作的分布式应用。 分布式分系统为何产生： 第一，比如互联网环境的应用系统，业务需求复杂，必须进行系统级别的垂直拆分，保证各个业务的业务清晰，各自部署对外提供服务...

2015-09-09 13:31:32

阅读数 1048

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭