- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 druid中 如何从本地批(batch)导入与从hdfs 批导入数据 实战
使用indexing service 批导入数据，如何配置task文件，指定从本地 和 hdfs中导入数据。很多在手册中没有详细说明，配置起来存在困难。先搭建几个节点：coordinator、historical、overlord、middleManager。并且启动服务。前提：需要准备好mysql（http://my.oschina.net/u/2460844/blog/637334 ...
2018-03-31 12:56:00
3750
1
转载 推荐：Druid + Grafana 应用实践
到大数据，大家首先想到的肯定是Hadoop，近年来互联网技术的快速增长催生了各类大体量数据的爆发，Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据，为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据，但是它并不提供任何性能上的保证。从这个角度来讲，我们可以把Hadoop看作是一个很好的后端、批量处理和数据仓库系统。在一个需要高并发并且保证查询性...
2018-03-29 16:22:48
6129
转载 Druid.io系列连载文章
Druid.io系列（一）：简介Druid.io系列（二）：基本概念与架构Druid.io系列（三）： Druid集群节点Druid.io系列（四）：索引过程分析Druid.io系列（五）：查询过程Druid.io系列（六）：问题总结...
2018-03-23 01:06:41
508
原创 druid中 kafka-indexing-service 的用法
kafka-indexing-service官网下载地址: http://www.mvnjar.com/io.druid.extensions/druid-kafka-indexing-service/jar.html这个index service 可以解决transquity的一些问题；官方的地址在: http://druid.io/docs/latest/development/exten...
2018-03-23 00:27:22
1721
转载 什么是分布式系统
一、三个步骤完成华丽转身——任意软件变为“分布式”分布式——一个高大上的名词，是计算机软件设计中人民群众喜闻乐见的“逼格满满”、“不明觉厉”的几个名词之一。但很可惜，这玩意儿一点也不复杂，甚至有些“简单”。不信？你只要遵循下述步骤即可将任何一个软件拆分为“分布式”的：将你的整个软件视为一个系统（不管它有多复杂）将整个系统分割为一系列的 Process（进程）， 每个 Process 完成一定的功能...
2018-03-21 23:00:15
256
转载 LinkedBlockingQueue 实现 生产者 消费者
Java中使用LinkedBlockingQueue实现生产者,消费者模式LinkedBlockingQueue实现是线程安全的，实现了FIFO（先进先出）等特性. 是作为生产者消费者的首选，LinkedBlockingQueue 可以指定容量，也可以不指定，不指定的话，默认最大是Integer.MAX_VALUE，其中主要用到put和take方法，put方法在队列满的时候会阻塞直到有队列成员被消...
2018-03-21 16:52:38
2922
转载 推荐：微信红包的架构设计简介
概况：2014年微信红包使用数据库硬抗整个流量，2015年使用cache抗流量。微信的金额什么时候算？ 答：微信金额是拆的时候实时算出来，不是预先分配的，采用的是纯内存计算，不需要预算空间存储。。 采取实时计算金额的考虑：预算需要占存储，实时效率很高，预算才效率低。实时性：为什么明明抢到红包，点开后发现没有？ 答：2014年的红包一点开就知道金额，分两次操作，先抢到金额，然后再转账。 2015年的...
2018-03-20 23:40:45
1435
转载 推荐：百亿级微信红包的高并发资金交易系统设计方案
2017年1月28日，正月初一，微信公布了用户在除夕当天收发微信红包的数量——142亿个，而其收发峰值也已达到76万每秒。百亿级别的红包，如何保障并发性能与资金安全？这给微信带来了超级挑战。面对挑战，微信红包在分析了业界“秒杀”系统解决方案的基础上，采用了SET化、请求排队串行化、双维度分库表等设计，形成了独特的高并发、资金安全系统解决方案。实践证明，该方案表现稳定，且实现了除夕夜系统零故障运行。...
2018-03-20 23:38:02
1740
转载 推荐 redis的高级事务CAS(乐观锁)
Optimistic locking using check-and-set(乐观锁)乐观锁介绍：watch指令在redis事物中提供了CAS的行为。为了检测被watch的keys在是否有多个clients同时改变引起冲突，这些keys将会被监控。如果至少有一个被监控的key在执行exec命令前被修改，整个事物将会回滚，不执行任何动作，从而保证原子性操作，并且执行exec会得到null的回复。乐观...
2018-03-20 23:18:44
3687
转载 Kafka设计解析分析 - Kafka HA高可用
问题导读1.如何创建/删除Topic？2.Broker响应请求包含哪些流程？3.LeaderAndIsrRequest是如何响应的？本文转发原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller fail...
2018-03-20 10:45:38
696
原创 推荐读：Zookeeper 工作原理
1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么？1)文件系统, 2)通知机制3.Zookeeper文件系统每个子目录项如 Name...
2018-03-20 09:30:50
283
转载 区块链在物联网中的应用
今天的演讲主要包括三个部分：第一部分是物联网的行业痛点和区块链带来的优势，第二部分是区块链+物联网的产业现状和应用场景，第三部分是区块链+物联网的挑战和可新标准的需求。物联网在长期发展演进过程中，遇到了以下5个行业痛点：设备安全、个人隐私、架构僵化、通信兼容和多主体协同5大痛点。在设备安全方面，Mirai创造的僵尸物联网（Botnets of Things）被麻省理工科技评论评为2017年的十大突...
2018-03-11 16:22:57
32708
1
转载 MySQL InnoDB MVCC 原理及其纠正
http://blog.sina.com.cn/s/blog_711b11fd0101bhks.html一、基础知识事务：事务是一组原子性sql查询语句，被当作一个工作单元。若mysql对改事务单元内的所有sql语句都正常的执行完，则事务操作视为成功，所有的sql语句才对数据生效，若sql中任意不能执行或出错则事务操作失败，所有对数据的操作则无效（通过回滚恢复数据）。事务有四个属性：1、原子性：事...
2018-03-06 22:03:48
634
转载 select、poll、epoll之间的区别总结
select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用...
2018-03-06 00:49:50
238
转载 推荐 apache kafka技术分享系列(目录索引)：
下面这个链接讲kafka专题比较深入，可以去看看李开涛的csdn目录：http://blog.csdn.net/lizhitao/article/details/39499283
2018-03-02 19:48:17
769
转载 skiplist 跳表
1、什么是SkipList当使用链表存放有序数据的时候，查找某个数据或者添加某个数据的复杂度是O（n），每次查找都需要顺序遍历。加快搜索的方法有哪些呢？想想数据库的设计思路，对，使用索引，利用空间换取时间。跳表基本上采用的就是这个思路。图1在最底层的链表中随机抽取一定是数量的节点作为索引，形成另一个链表。然后继续从新生成的链表中随机抽取点作为新的索引，继续形成另一个链表。将这个步骤继续多次。可以得...
2018-03-02 18:48:24
264
转载 Java中的ArrayList的初始容量和容量分配
Java中的ArrayList的初始容量和容量分配List接口的大小可变数组的实现。实现了所有可选列表操作，并允许包括 null 在内的所有元素。ArrayList继承于List接口，除继承过来的方法外，还提供一些方法来操作内部用来存储列表的数组的大小。每个ArrayList实例都有一个容量。该容量是指用来存储列表元素的数组的大小。它总是至少等于列表的大小。随着向ArrayList中不断添加元素，...
2018-03-01 01:31:49
8446
转载 环形加油站问题
问题城市的环形路有n个加油站，第i个加油站的油量用gas[i]来表示，你有如下的一辆车：它的油缸是无限量的，初始是空的它从第i个加油站到第i+1个加油站消耗油量为cost[i]现在你可以从任意加油站开始，路过加油站可以不断的加油，问是否能够走完环形路。如果可以返回开始加油站的编号，如果不可以返回-1。此题目来自于leetcode：https://oj.leetcode.com/problems/g...
2018-03-01 01:10:36
1127
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人