2015年08月_mrshen007

12月 11月 10月 09月 08月 06月 05月 04月 03月 02月

原创使用HDFS作为Druid的deepStorage

使用 HDFS作为Druid 的deep Storage，有以下几个步骤： 1) 在config/_common目录下的配置文件中添加 hdfs-storage的extensions 2) 为HDFS设置正确的访问参数 3) 在druid的运行节点的 classpath中添加hadoop 的相关jar包和配置文件路径以下为详细

2015-08-28 20:30:21 4299

原创 kafka测定删除topic及其内容

要使topic可以删除，首先在你的config/server.properties文件末尾中添加这一项：delete.topic.enable=true 1、/bin/kafka-topic --delete --zookeeper : --topic 2、kafka不一定马上就删除所有数据，找到config/server.properties文件中log.dirs所设置

2015-08-28 20:23:22 2802

原创 Flume监控目录并读取新添加的文件

官方文档： http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source 使用spoolDirectory作为agent的source可以让flume自从监控指定的spoolDir目录，一旦有新文件生成就读取它并将它发送出去，已经读取过的文件会打上.COMPLETE后缀，不会重复发送。具体配置在官方文档中讲解

2015-08-28 20:14:34 8854

原创 flume+kafka+Druid 流数据查询聚合工具

Druid是个用于海量查询、聚合的工具，项目比较新，资料方面还比较少。这里是一位博主fish_cool总结的资料，包括Druid的简介，适用的场景，用法等，很大部分也是从Druid官网上总结的，写得很不错。这篇文章要介绍的是实验室自己的系统设计思路。整个系统的架构是 flume -> kafka -> druid，flume 与kafka的整合之前在搭建flume -> kafka

2015-08-28 19:36:19 6250 2