- 博客(6)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 浅谈ElasticSearch的嵌套存储模型
最近一个半月都在搞SparkStreaming+Hbase+Redis+ES相关的实时流项目开发，其中重度使用了ElasticSearch作为一个核心业务的数据存储，所以这段时间更新文章较少，现在开发基本完事，接下来的会写几篇有关ElastiSearch的使用心得。大多数时候我们使用es都是用来存储业务比较简单的数据，比如日志log类居多，就算有一些有主外键关联的数据，我们也会提前join
2017-02-28 11:42:16
7472
浅谈ElasticSearch的嵌套存储模型
[img]http://dl2.iteye.com/upload/attachment/0123/3857/69b9e8f2-2cf0-3079-a966-9331ad1e91ae.jpg[/img]最近一个半月都在搞SparkStreaming+Hbase+Redis+ES相关的实时流项目开发，其中重度使用了ElasticSearch作为一个核心业务的数据存储，所以这段时间更新文章较少，...
2017-02-28 11:19:30
489
原创 关于SparkStreaming的checkpoint的弊端
框架版本spark2.1.0kafka0.9.0.0当使用sparkstreaming处理流式数据的时候，它的数据源搭档大部分都是Kafka，尤其是在互联网公司颇为常见。 当他们集成的时候我们需要重点考虑就是如果程序发生故障，或者升级重启，或者集群宕机，它究竟能否做到数据不丢不重呢？也就是通常我们所说的高可靠和稳定性，通常框架里面都带有不同层次的消息保证机制，一般来
2017-02-11 18:02:33
9060
8
关于SparkStreaming的checkpoint的弊端
框架版本spark2.1.0kafka0.9.0.0当使用sparkstreaming处理流式数据的时候，它的数据源搭档大部分都是Kafka，尤其是在互联网公司颇为常见。当他们集成的时候我们需要重点考虑就是如果程序发生故障，或者升级重启，或者集群宕机，它究竟能否做到数据不丢不重呢？也就是通常我们所说的高可靠和稳定性，通常框架里面都带有不同层次的消息保证机制，一般...
2017-02-11 17:59:11
141
如何收集项目日志统一发送到kafka中？
[img]http://img.blog.csdn.net/20170207190128849[/img]上一篇（[url]http://qindongliang.iteye.com/blog/2354381[/url] ）写了收集sparkstreaming的日志进入kafka便于后续收集到es中快速统计分析，今天就再写一篇如何在普通应用程序实时收集日志，上一篇写的毕竟是分布式环境下的操作，...
2017-02-07 19:07:50
262
原创 如何收集项目日志统一发送到kafka中？
上一篇（http://qindongliang.iteye.com/blog/2354381 ）写了收集sparkstreaming的日志进入kafka便于后续收集到es中快速统计分析，今天就再写一篇如何在普通应用程序实时收集日志，上一篇写的毕竟是分布式环境下的操作，有一定的特殊性，如MapReduce，Spark运行的日志和普通项目的日志是不太一样的。所谓的普通程序就是web项目的或者非
2017-02-07 19:03:53
15831
1
protobuf-2.5.0.tar.gz
2015-06-24
luke4.5的jar包
2013-10-29
lucene的索引工具
2013-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人