大树叶 技术专栏

骨灰攻城狮 架构师

druid中 如何从本地批(batch)导入与从hdfs 批导入数据 实战

     使用indexing service 批导入数据,如何配置task文件,指定从本地 和 hdfs中导入数据。很多在手册中没有详细说明,配置起来存在困难。先搭建几个节点:coordinator、historical、overlord、middleManager。并且启动服务。前提:需要准备...

2018-03-31 12:56:00

阅读数 1863

评论数 1

推荐:Druid + Grafana 应用实践

到大数据,大家首先想到的肯定是Hadoop,近年来互联网技术的快速增长催生了各类大体量数据的爆发,Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据,为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据,但是它并不提供任何性能上的保证。从这个角度来...

2018-03-29 16:22:48

阅读数 1449

评论数 0

Druid.io系列连载文章

Druid.io系列(一):简介Druid.io系列(二):基本概念与架构Druid.io系列(三): Druid集群节点Druid.io系列(四):索引过程分析Druid.io系列(五):查询过程Druid.io系列(六):问题总结...

2018-03-23 01:06:41

阅读数 319

评论数 0

druid中 kafka-indexing-service 的用法

 kafka-indexing-service官网下载地址: http://www.mvnjar.com/io.druid.extensions/druid-kafka-indexing-service/jar.html这个index service 可以解决transquity的一些问题;官方的...

2018-03-23 00:27:22

阅读数 829

评论数 0

什么是分布式系统

一、三个步骤完成华丽转身——任意软件变为“分布式”分布式——一个高大上的名词,是计算机软件设计中人民群众喜闻乐见的“逼格满满”、“不明觉厉”的几个名词之一。但很可惜,这玩意儿一点也不复杂,甚至有些“简单”。不信?你只要遵循下述步骤即可将任何一个软件拆分为“分布式”的:将你的整个软件视为一个系统(不...

2018-03-21 23:00:15

阅读数 144

评论数 0

LinkedBlockingQueue 实现 生产者 消费者

Java中使用LinkedBlockingQueue实现生产者,消费者模式LinkedBlockingQueue实现是线程安全的,实现了FIFO(先进先出)等特性. 是作为生产者消费者的首选,LinkedBlockingQueue 可以指定容量,也可以不指定,不指定的话,默认最大是Integer....

2018-03-21 16:52:38

阅读数 848

评论数 0

推荐:微信红包的架构设计简介

概况:2014年微信红包使用数据库硬抗整个流量,2015年使用cache抗流量。微信的金额什么时候算? 答:微信金额是拆的时候实时算出来,不是预先分配的,采用的是纯内存计算,不需要预算空间存储。。 采取实时计算金额的考虑:预算需要占存储,实时效率很高,预算才效率低。实时性:为什么明明抢到红包,点开...

2018-03-20 23:40:45

阅读数 607

评论数 0

推荐:百亿级微信红包的高并发资金交易系统设计方案

2017年1月28日,正月初一,微信公布了用户在除夕当天收发微信红包的数量——142亿个,而其收发峰值也已达到76万每秒。百亿级别的红包,如何保障并发性能与资金安全?这给微信带来了超级挑战。面对挑战,微信红包在分析了业界“秒杀”系统解决方案的基础上,采用了SET化、请求排队串行化、双维度分库表等设...

2018-03-20 23:38:02

阅读数 720

评论数 0

推荐 redis的高级事务CAS(乐观锁)

Optimistic locking using check-and-set(乐观锁)乐观锁介绍:watch指令在redis事物中提供了CAS的行为。为了检测被watch的keys在是否有多个clients同时改变引起冲突,这些keys将会被监控。如果至少有一个被监控的key在执行exec命令前被...

2018-03-20 23:18:44

阅读数 1091

评论数 0

Kafka设计解析分析 - Kafka HA高可用

问题导读1.如何创建/删除Topic?2.Broker响应请求包含哪些流程?3.LeaderAndIsrRequest是如何响应的?本文转发原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3摘要  本文在上篇文章基础上,更加深入讲解了Kafka的...

2018-03-20 10:45:38

阅读数 400

评论数 0

推荐读:Zookeeper 工作原理

1.ZooKeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKee...

2018-03-20 09:30:50

阅读数 182

评论数 0

区块链在物联网中的应用

今天的演讲主要包括三个部分:第一部分是物联网的行业痛点和区块链带来的优势,第二部分是区块链+物联网的产业现状和应用场景,第三部分是区块链+物联网的挑战和可新标准的需求。物联网在长期发展演进过程中,遇到了以下5个行业痛点:设备安全、个人隐私、架构僵化、通信兼容和多主体协同5大痛点。在设备安全方面,M...

2018-03-11 16:22:57

阅读数 9321

评论数 0

MySQL InnoDB MVCC 原理及其纠正

http://blog.sina.com.cn/s/blog_711b11fd0101bhks.html一、基础知识事务:事务是一组原子性sql查询语句,被当作一个工作单元。若mysql对改事务单元内的所有sql语句都正常的执行完,则事务操作视为成功,所有的sql语句才对数据生效,若sql中任意不...

2018-03-06 22:03:48

阅读数 271

评论数 0

select、poll、epoll之间的区别总结

select,poll,epoll都是IO多路复用的机制。I/O多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。但select,poll,epoll本质上都是同步I/O,因为他们都需要在读写事件就绪后自己负责进行读写,也就是...

2018-03-06 00:49:50

阅读数 99

评论数 0

推荐 apache kafka技术分享系列(目录索引):

下面这个链接讲kafka专题比较深入,可以去看看李开涛的csdn目录:http://blog.csdn.net/lizhitao/article/details/39499283

2018-03-02 19:48:17

阅读数 364

评论数 0

skiplist 跳表

1、什么是SkipList当使用链表存放有序数据的时候,查找某个数据或者添加某个数据的复杂度是O(n),每次查找都需要顺序遍历。加快搜索的方法有哪些呢?想想数据库的设计思路,对,使用索引,利用空间换取时间。跳表基本上采用的就是这个思路。图1在最底层的链表中随机抽取一定是数量的节点作为索引,形成另一...

2018-03-02 18:48:24

阅读数 87

评论数 0

Java中的ArrayList的初始容量和容量分配

Java中的ArrayList的初始容量和容量分配List接口的大小可变数组的实现。实现了所有可选列表操作,并允许包括 null 在内的所有元素。ArrayList继承于List接口,除继承过来的方法外,还提供一些方法来操作内部用来存储列表的数组的大小。每个ArrayList实例都有一个容量。该容...

2018-03-01 01:31:49

阅读数 982

评论数 0

环形加油站问题

问题城市的环形路有n个加油站,第i个加油站的油量用gas[i]来表示,你有如下的一辆车:它的油缸是无限量的,初始是空的它从第i个加油站到第i+1个加油站消耗油量为cost[i]现在你可以从任意加油站开始,路过加油站可以不断的加油,问是否能够走完环形路。如果可以返回开始加油站的编号,如果不可以返回-...

2018-03-01 01:10:36

阅读数 277

评论数 0

提示
确定要删除当前文章?
取消 删除