[大数据]flume日志收集

工作中再次使用到了Flume,记录下flume配置过程中的一些问题。 涉及到的知识点: flume,exec source,file channel,avro sink,cumtom sink开发 ...
  • xnby
  • xnby
  • 2016年04月11日 20:17
  • 1225

大数据日志收集框架之Flume入门

Flume是Cloudrea公司开源的一款优秀的日志收集框架,主要经历了两个大的版本,分别是  Flume-OG  Flume-NG  OG是0.9.x的版本,依赖zookeeper,角色职责不...
  • u010454030
  • u010454030
  • 2016年02月29日 13:49
  • 832

开源大数据利器汇总

开源大数据利器汇总 类别 名称 官网 备注 查询引擎 Phoenix https://phoenix.apache.org/ Salesforce公司出品,Apac...
  • xy2953396112
  • xy2953396112
  • 2017年01月16日 13:04
  • 1004

六款大数据采集平台的架构分析

本文转自:《六款大数据采集平台的架构分析》 文中介绍了目前业界存在的六款数据采集平台,数据采集平台可以作为数据平台的日志采集系统,个人尝试过Flume+ES+Kibana这样的开源组合,为什...
  • yeruby
  • yeruby
  • 2016年03月29日 10:15
  • 8962

一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

http://www.36dsj.com/archives/25042 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等  诺蓝 2015-03-...
  • onlyForCloud
  • onlyForCloud
  • 2015年11月27日 15:38
  • 5100

10种令人惊讶的方式你的日常生活中正在收集数据的大数据野兽

10种令人惊讶的方式你的日常生活中正在收集数据的大数据野兽
  • yangzhenping
  • yangzhenping
  • 2014年11月04日 11:13
  • 2734

十三年来,淘宝走过的大数据之路

2003年至今淘宝网从零开始飞速发展,走过了13个年头,支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台,淘宝大数据平台,就是其中非常重要的一个组成部分,承担了数据采集、加工处理、数据应用的职责,淘...
  • gx181710
  • gx181710
  • 2017年04月22日 23:30
  • 262

大数据时代 何处安放我们的元数据?

我们需要收集,归档,研究的数据量是非常惊人的,但是如果我们能巧妙利用元数据,就能快速找到我们所需要的数据文件。不过,单独存储,研究元数据本身就是一个“大数据”问题,其中一个很重要的方面就是我们要把元数...
  • tianlianchao1982
  • tianlianchao1982
  • 2013年12月19日 10:00
  • 782

前端资源大收集

正文 前端组织 虽混过外企俩家,但劳资英文这项的技能点还是灰色的...so,俺关注的站点主要以中文为主 名称 推荐指数 备注/说明 GitHub ★★★★★ 劳资清楚这...
  • pingfan592
  • pingfan592
  • 2016年03月02日 13:27
  • 1143

大数据抓取采集框架

大数据抓取采集框架 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越...
  • sunscheung
  • sunscheung
  • 2017年07月14日 16:30
  • 1093
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:javascrip 大收集
举报原因:
原因补充:

(最多只允许输入30个字)