- 博客(13)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 ElasticSearch Bulk 源码解析
本来应该先有这篇文章,后有如何提高ElasticSearch 索引速度才对。不过当时觉得后面一篇文章会更有实际意义一些，所以先写了后面那篇文章。结果现在这篇文章晚了20多天。前言读这篇文章前，建议先看看ElasticSearch Rest/RPC 接口解析,有利于你把握ElasticSearch接受处理请求的脉络。对于RPC类的调用，我会在后文简单提及，只是endpoint不一样，内部处理逻辑还是
2016-03-28 14:53:55
3250
1
原创 ElasticSearch Bulk 源码解析
本来应该先有这篇文章,后有如何提高ElasticSearch 索引速度才对。不过当时觉得后面一篇文章会更有实际意义一些，所以先写了后面那篇文章。结果现在这篇文章晚了20多天。前言读这篇文章前，建议先看看ElasticSearch Rest/RPC 接口解析,有利于你把握ElasticSearch接受处理请求的脉络。对于RPC类的调用，我会在后文简单...
2016-03-28 00:13:00
230
原创 Spark Streaming Dynamic Resource Allocation 文档(非官方特性)
必要配置通过下面参数开启DRAspark.streaming.dynamicAllocation.enabled=true设置最大最小的Executor 数目：spark.streaming.dynamicAllocation.minExecutors=0spark.streaming.dynamicAllocation.maxExecutor...
2016-03-24 20:14:00
198
原创 五分钟为HTTP接口提供Java/Scala SDK
上次构建Spark 任务发布管理程序时，正好用到了两个yarn的接口。因为不想引入Yarn的client包，所以使用了他的Http接口。那么如何调用这个HTTP接口便是一个问题了Case描述我现在要使用yarn的两个接口，一个是application 列表，一个是根据appId获取这个app的详情。对应的接口大约如此： http://[dns]/ws/v1/cluster/apps ht
2016-03-23 21:45:16
3848
原创 五分钟为HTTP接口提供Java/Scala SDK
上次构建Spark 任务发布管理程序时，正好用到了两个yarn的接口。因为不想引入Yarn的client包，所以使用了他的Http接口。那么如何调用这个HTTP接口便是一个问题了Case描述我现在要使用yarn的两个接口，一个是application 列表，一个是根据appId获取这个app的详情。对应的接口大约如此：http://[dns]/...
2016-03-21 18:08:00
372
原创 如何提高ElasticSearch 索引速度
大体是下面这三个点让es比原生的lucene吞吐量下降了不少：1. 为了数据完整性 ES额外添加了WAL(tanslog)2. 为了能够并发修改 添加了版本机制3. 对外提供服务的node节点存在瓶颈ES的线性扩展问题主要受限于第三点,
2016-03-08 09:38:40
9264
1
原创 如何提高ElasticSearch 索引速度
我Google了下，大致给出的答案如下：使用bulk API初次索引的时候，把 replica 设置为 0增大 threadpool.index.queue_size增大 indices.memory.index_buffer_size增大 index.translog.flush_threshold_ops增大 index.translog...
2016-03-07 23:22:00
545
原创 如何评估你的创业点子
引子通常我们有两个角色：旁观者当事人这几年互联网大潮，尤其是移动互联网的崛起和发展给我的冲击非常大，这期间看到了很多公司的起起落落，在周边也接触到了或多或少的创业公司，之前自己也有参与创业，一直对此都有所思考。或者换个说法，我其实一直作为一个旁观者看着这纷繁的世界。很多时候，你会发现当自己作为一个旁观者，很多预言都是准确的。就好比你判定一支股票，你只是做判断的时候，你就经常判断准确了，而当你真
2016-03-04 21:59:06
1383
2
原创 ElasticSearch Aggregation Bucket 实例分析
在前文 ElasticSearch Aggregations 分析 中，我们提及了 【Aggregation Bucket的实现】，然而只是用文字简要描述了原理。今天这篇文章会以简单的类似grouyBy 的操作，让大家Aggregator的工作原理有进一步的理解查询语句今天我们假定的查询如下：{ "aggs":{ "user": { "te
2016-03-04 21:58:03
7247
原创 ElasticSearch Aggregations 分析
承接上篇文章 ElasticSearch Rest/RPC 接口解析,这篇文章我们重点分析让ES步入数据分析领域的Aggregation相关的功能和设计。前言我记得有一次到一家公司做内部分享，然后有研发问我，即席分析这块，他们用ES遇到一些问题。我当时直接就否了，我说ES还是个全文检索引擎，如果要做分析，还是应该用Impala,Phenix等这种主打分析的产品。随着ES的发展，我现在对它的看法，也
2016-03-04 21:57:14
4524
1
原创 如何评估你的创业点子
引子通常我们有两个角色：旁观者当事人这几年互联网大潮，尤其是移动互联网的崛起和发展给我的冲击非常大，这期间看到了很多公司的起起落落，在周边也接触到了或多或少的创业公司，之前自己也有参与创业，一直对此都有所思考。或者换个说法，我其实一直作为一个旁观者看着这纷繁的世界。很多时候，你会发现当自己作为一个旁观者，很多预言都是准确的。就好比你判定一支股...
2016-03-03 22:59:00
214
原创 SparkES 多维分析引擎设计
设计动机ElasticSearch 毫秒级的查询响应时间还是很惊艳的。其优点有：优秀的全文检索能力高效的列式存储与查询能力数据分布式存储(Shard 分片)其列式存储可以有效的支持高效的聚合类查询，譬如groupBy等操作，分布式存储则提升了处理的数据规模。相应的也存在一些缺点：缺乏优秀的SQL支持缺乏水平扩展的Reduce(Merg...
2016-03-03 15:19:00
722
13
原创 ElasticSearch Aggregations GroupBy 实现源码分析
在前文 ElasticSearch Aggregations 分析 中，我们提及了 【Aggregation Bucket的实现】，然而只是用文字简要描述了原理。今天我们会举个实际groupBy的例子进行剖析，让大家对ElasticSearch Aggregations 的工作原理有更深入的理解准备工作为了方便调试，我对索引做了如下配置{ ...
2016-03-01 19:38:00
608
1
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人