2016年02月_祝威廉

原创 ElasticSearch Aggregations 分析

承接上篇文章 ElasticSearch Rest/RPC 接口解析,这篇文章我们重点分析让ES步入数据分析领域的Aggregation相关的功能和设计。前言我记得有一次到一家公司做内部分享，然后有研发问我，即席分析这块，他们用ES遇到一些问题。我当时直接就否了，我说ES还是个全文检索引擎，如果要做分析，还是应该用Impala,Phenix等这种主...

2016-02-29 22:56:00 314

原创 ElasticSearch Rest/RPC 接口解析

ElasticSearch 的体系结构比较复杂，层次也比较深，源码注释相比其他的开源项目要少。这是ElasticSearch 系列的第一篇。解析ElasticSearch的接口层，也就是Rest/RPC接口相关。我们会描述一个请求从http接口到最后被处理都经过了哪些环节。一些基础知识早先ES的HTTP协议支持还是依赖Jetty的,现在不管是Rest还是RPC都是直接基于Netty了。另外值得一提

2016-02-25 11:11:45 2715 4

原创 ElasticSearch Rest/RPC 接口解析

ElasticSearch 的体系结构比较复杂，层次也比较深，源码注释相比其他的开源项目要少。这是ElasticSearch 系列的第一篇。解析ElasticSearch的接口层，也就是Rest/RPC接口相关。我们会描述一个请求从http接口到最后被处理都经过了哪些环节。一些基础知识早先ES的HTTP协议支持还是依赖Jetty的,现在不管是Res...

2016-02-24 20:35:00 333

原创 Kafka Zero-Copy 使用分析

之前有听过Zero-Copy 技术，而Kafka是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码，于是有了这篇内容。这篇文章会简要介绍Zero-Copy技术在Kafka的使用情况，希望能给大家一定借鉴和学习样例。前言Kafka 我个人感觉是性能优化的典范。而且使用Scala开发，代码写的也很漂亮的。重点我觉得有四个NIOZero Copy磁盘顺

2016-02-14 17:01:20 8449 1

原创 Transformer架构解析

核心观点：服务的本质是数据的流转与变换数据的变换依赖于数据的流转，只有流转的数据才能够被变换。基于这个理念，我们提出了Transformer架构。基本概念定义Transformer。我们的每一个服务应用，都是一个数据转换器。数据在这些Transformer之间进行流动和转换。流动的过程就是Pipeline形成的过程(Pipeline的概念在后续会有定义)。典型的例子比如你开发的一个Spark

2016-02-14 16:59:51 4336 1

原创 Spark Streaming 妙用之实现工作流调度器

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这块并没有什么经验，这只是一个存在于脑海中的东西。下面是Azkaban的架构图：也就是说要搭建一个稳定可靠的Azkaban的工作流调度器，你可能需要两台互为主备MySQL两台Executor Serve

2016-02-14 16:59:09 1878

原创 Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。而状态管理对Spark 的 RDD模型是个挑战，因为在spark里，任何数据集都需要通过RDD来呈现，而RDD 的定义是一个不变的分布式

2016-02-14 16:58:08 1663 6

原创 Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。而状态管理对Spark 的 RDD模型是个挑战，因为在spark里，任何数据集都需要通...

2016-02-13 22:38:00 216

原创 Spark Streaming 妙用之实现工作流调度器

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这块并没有什么经验，这只是一个存在于脑海中的东西。下面是Azkaban的架构图：也就是说要搭建一个稳定可靠的Azkaban的工作流调度器，你可能...

2016-02-07 21:31:00 217

allwefantasy的专栏

原创 ElasticSearch Aggregations 分析

原创 ElasticSearch Rest/RPC 接口解析

原创 ElasticSearch Rest/RPC 接口解析

原创 Kafka Zero-Copy 使用分析

原创 Transformer架构解析

原创 Spark Streaming 妙用之实现工作流调度器

原创 Spark Streaming 1.6 流式状态管理分析

原创 Spark Streaming 1.6 流式状态管理分析

原创 Spark Streaming 妙用之实现工作流调度器

jQuery1.2API

学习JavaFX脚本语言_翻译_.pdf

hibernate 关联保存的困惑

jQuery1.2API

学习JavaFX脚本语言_翻译_.pdf

hibernate 关联保存 的困惑

hibernate 关联保存的困惑