排序:
默认
按更新时间
按访问量

Kafka Stream介绍

Kafka Streams是一套类库,它使得Apache Kafka可以拥有流处理的能力,使用Kafka Stream API进行业务逻辑处理最后可以写回Kakfa或者其他系统中。Kafka Stream中有几个重要的流处理概念:严格区分Event time和Process Time、支持窗口函数...

2016-05-26 17:25:07

阅读数:9914

评论数:0

实战Spark分布式SQL引擎

Spark SQL除了使用spark-sql命令进入交互式执行环境之外,还能够使用JDBC/ODBC或命令行接口进行分布式查询,在这个模式下,终端用户或应用可以直接和Spark SQL进行交互式SQL查询而不需要写任何scala代码。

2015-06-24 20:57:56

阅读数:3336

评论数:0

kubernetes实战-基于redis和docker的留言簿案例

本案例基于Kubernetes和Docker,其中包括 1、web前端 2、redis master 其中web前端通过javascript redis api和redis master交互

2015-06-22 19:41:07

阅读数:13348

评论数:6

Docker入门实战

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上。 Docker是一个重新定义了程序开发测试、交付和部署过程的开放平台,Docker则可以称为构建一次,到处运行,这就是docker提出的“Build once...

2015-06-14 13:30:04

阅读数:87564

评论数:13

Hbase 布隆过滤器BloomFilter介绍

1、主要功能 提高随机读的性能 2、存储开销 bloom filter的数据存在StoreFile的meta中,一旦写入无法更新,因为StoreFile是不可变的。Bloomfilter是一个列族(cf)级别的配置属性,如果你在表中设置了Bloomfilter,那么HBase会在生成S...

2015-06-11 09:47:23

阅读数:11478

评论数:0

深入解读HBase2.0新功能之高可用读Region Replica

前言基于时间线一致的高可用读(Timeline-consistent High Available Reads),又称Region replica。其实早在HBase-1.2版本的时候,这个功能就已经开发完毕了,但是还是不太稳定,离生产可用级别还有一段距离,后来社区又陆陆续续修复了一些bug,比如...

2018-06-13 10:05:00

阅读数:101

评论数:0

从HBase中移除WAL?3D XPoint技术带来的变革

最近,Intel在HBase社区提交了一个标题为"WALLess HBase on Persistent Memory"的问题单,将3D XPoint技术引入到HBase中,并且移除了WAL。虽然方案还没有公布详细的设计细节,本文借机讨论HBase现有架构的一些...

2018-03-06 14:46:38

阅读数:207

评论数:0

Elasticsearch的遍历操作分析

Es低版本(1.x)的scroll操作还有一个变种:scan,其在指定size时真实返回的是size * num_of_shards条数据,比如scan请求返回size=10条数据,而索引本身有5个shard,那么一次scan将返回10*5=50条数据,另外在第一次请求时只执行初始化操作,不会返回...

2018-02-08 10:39:26

阅读数:204

评论数:0

SparkSql 中外连接查询中的谓词下推规则

SparkSql SparkSql是架构在spark计算框架之上的分布式Sql引擎,使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理,提供的DSL可以直接使用scala语言完成sql查询,同时也使用thrift server提供服务化的Sql查询功能。Sp...

2018-01-04 19:04:55

阅读数:530

评论数:0

Hadoop Yarn Capacity调度器之ACL的一个坑

Hadoop Yarn集群使用队列进行任务调度和资源分配,同时支持使用ACL控制队列允许指定用户提交,本文介绍关于yarn capacity scheduler在使用ACL时的一个坑。

2017-10-20 16:29:34

阅读数:591

评论数:0

Kafka New Consumer API

Kafka New Consumer API基于Kafka自身的group coordination protocol(老版本基于Zookeeper),new Consumer具有以下优势 1、合并过去High Level和Low Level的API,提供一个同时支持group coordinat...

2017-05-17 18:07:05

阅读数:3357

评论数:0

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。     RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。 ...

2017-03-26 18:59:57

阅读数:950

评论数:0

Elasticsearch 学习笔记

最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方,望指明,一...

2017-02-25 22:08:34

阅读数:495

评论数:0

HBase最佳实践 – 多租户机制

在HBase1.1.0发布之前,HBase同一集群上的用户、表都是平等的,没有优劣之分。这种’大同’社会看起来完美,实际上有很多问题。最棘手的主要有这么两个,其一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行,其二是有些业务在某些场景下会时常’抽风’,QPS常常居高...

2017-02-20 19:13:40

阅读数:2172

评论数:1

HBase最佳实践-读性能优化策略

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较...

2017-02-15 11:45:33

阅读数:397

评论数:0

分散层叠(Fractional Cascading)

最初接触Fractional Cascading这个概念,应该是在计算几何中的Range Tree里。当然,限于篇幅本文并不打算对Range Tree做过深的讨论。但是我们仍然可以对Fractional Cascading这个思想来做一番详细的解读。

2016-12-16 19:52:17

阅读数:563

评论数:0

java并发包系列---LockSupport

长久以来对线程阻塞与唤醒经常我们会使用object的wait和notify,除了这种方式,java并发包还提供了另外一种方式对线程进行挂起和恢复,它就是并发包子包locks提供的LockSupport。 LockSupport提供了park和unpark进行线程的挂起和恢复操作,来看一个简单...

2016-11-26 11:35:02

阅读数:3098

评论数:2

RDD、DataFrame和DataSet的区别

RDD和DataFrame RDD-DataFrame 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数,但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息,使得Spark SQ...

2016-08-27 08:21:51

阅读数:744

评论数:0

【分析】Java Math.random()导致主线程假死

先来看下下面这段测试代码 public class Run { public static void main(String[] args) throws InterruptedException { Thread2 b = new Thread2(); b.setName("...

2016-06-14 14:48:31

阅读数:1120

评论数:0

Yarn公平调度器之DRF算法

在Mesos和YARN中,都用到了dominant resource fairness算法(DRF),它不同于Hadoop基于slot-based实现的fair scheduler和capacity scheduler,论文阅读:Dominant Resource Fairness: Fair A...

2016-06-05 21:13:42

阅读数:3165

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭