- 博客(4)
- 资源 (9)
- 收藏
- 关注
原创 使用HDFS作为Druid的deepStorage
使用 HDFS作为Druid 的deep Storage,有以下几个步骤: 1) 在config/_common目录下的配置文件中添加 hdfs-storage的extensions 2) 为HDFS设置正确的访问参数 3) 在druid的运行节点的 classpath中添加hadoop 的相关jar包和配置文件路径以下为详细
2015-08-28 20:30:21 4299
原创 kafka测定删除topic及其内容
要使topic可以删除,首先在你的config/server.properties文件末尾中添加这一项:delete.topic.enable=true 1、/bin/kafka-topic --delete --zookeeper : --topic 2、kafka不一定马上就删除所有数据,找到config/server.properties文件中log.dirs所设置
2015-08-28 20:23:22 2802
原创 Flume监控目录并读取新添加的文件
官方文档: http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source 使用spoolDirectory作为agent的source可以让flume自从监控指定的spoolDir目录,一旦有新文件生成就读取它并将它发送出去,已经读取过的文件会打上.COMPLETE后缀,不会重复发送。具体配置在官方文档中讲解
2015-08-28 20:14:34 8854
原创 flume+kafka+Druid 流数据查询聚合工具
Druid是个用于海量查询、聚合的工具,项目比较新,资料方面还比较少。这里是一位博主fish_cool总结的资料,包括Druid的简介,适用的场景,用法等,很大部分也是从Druid官网上总结的,写得很不错。这篇文章要介绍的是实验室自己的系统设计思路。整个系统的架构是 flume -> kafka -> druid,flume 与kafka的整合之前在搭建flume -> kafka
2015-08-28 19:36:19 6250 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人