关注
分享
ESOO
君子不器
展开
-
大数据下的日志-前台展示：无按钮浏览（无按钮，自动滚屏）
搜索方便，但是又像看书一样优雅的阅读日志，这是怎么做到的呢？咱们一起分享。原创 2016-01-29 18:28:17 · 2959 阅读 · 5 评论 -
大数据下的日志-flume（二）高并发下的优化
不得不读的flume优化文章！原创 2015-12-27 19:00:46 · 7144 阅读 · 4 评论 -
大数据下的日志-flume（一）简介及例子
有很多人解释flume是什么，听着都很高大上，但是，这个世界原本就很简单，没有必要这么理解，我们今天就听听我对flume的定义，flume是已经写好的一组代码，用来传输数据用的，和java file的操作一样，是不是听起来更容易了一些，下面我们来看看它的其他定义，也会发现，没有那么陌生了。原创 2015-11-15 16:36:24 · 4079 阅读 · 6 评论 -
大数据下的日志--ElasticSearch部分（四）--Mapping
相当于数据库的表结构的定义，elasticsearch的mapping 也很重要。直接关系到性能及搜索结果的准确性。elasticsearch的java api的例子太少，我在这儿就献丑了。 为了说明mapping的定义，我这里定义了一个简单的模型，就ID,type,和catIds 3个属性，重在说明如何使用java api来定义mapping,具体各field应该如何定义，这里不做讨论。 J原创 2015-10-05 19:35:43 · 3511 阅读 · 4 评论 -
大数据下的日志--ElasticSearch部分（三）--Bulk,Search操作
其实在上一篇博客中，只要大家能看懂，就应该能够根据其代码做到举一反三了，依次类推ES的批量操作Bulk，搜索功能Search等，但在这里还是简单讲一下。 批量索引和删除 Java代码 收藏代码 BulkRequestBuilder bulkRequest = client.prepareBulk(); for(int i=500;i原创 2015-10-05 19:33:24 · 15236 阅读 · 3 评论 -
大数据下的日志--ElasticSearch部分（二）--结合Java基本操作
ElasticSearch(名称太长，后面简称ES)作为一个搜索引擎，目前可谓是如日中天，几乎和solr齐驾并驱。关于他能做什么，跟云计算有什么关系，在此不再描述。但是ES的官方文档，特别是关于java的客户端文档，真是少的可怜，甚至连个完整的增删改的示例都没有。在此，我就献丑了。 在开始讲解之前，还是先做个铺垫，为了能够有一个可以索引的模型，我们自定义了一个模型，暂时起个名称叫LogModel原创 2015-10-05 19:30:18 · 25881 阅读 · 7 评论 -
大数据下的日志--ElasticSearch部分（一）--初识
随着公司日益剧增的交易量，平台的日志积累到了一个海量的级别，这时候的检索和排错是个相当痛苦的过程原创 2015-10-05 19:34:17 · 6941 阅读 · 6 评论