solr+flume学习
小飞侠-2
我的github地址https://github.com/liujiekasini 欢迎大家分享讨论
展开
-
学习网站网址
学习filume 发现个一个很牛的网站 https://github.com/cloudera/flume原创 2016-06-23 09:44:33 · 458 阅读 · 0 评论 -
CDH5.1从Flume采集到索引(Solr)
众所周知,CDH是Cloudera公司推出的基于稳定版的ApachHadoop环境。并且比官方的Hadoop更新更快。坚持季度update,年度release。其中集成的Hadoop生态系统中的所有组件互相兼容,并坚持更新其中的bug和feature,在学习测试、生产环境中都有很好的应用。 如果在生产环境中需要用到Hadoop,自行部署Hadoop,在其上再部署类似HBase、Flume、Imp转载 2016-06-21 10:38:59 · 1294 阅读 · 0 评论 -
Flume日志收集
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数转载 2016-06-21 10:40:31 · 242 阅读 · 0 评论 -
Flume-ng的原理和使用
1. 介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failover转载 2016-06-21 14:02:20 · 629 阅读 · 0 评论 -
Flume监听文件目录sink至hdfs配置
转自:http://www.cnblogs.com/weiqiang-liu/p/3795149.html 一:flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。,Flume架构分为三个部分 源-Source,接收转载 2016-06-23 10:44:35 · 649 阅读 · 0 评论 -
分布式日志收集系统Apache Flume的设计介绍
Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe,Apache Chuwka,Apache Kafka(也是LinkedIn的)。Flume是后起之秀,本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要设计,不涉及Fl转载 2016-10-26 11:27:25 · 239 阅读 · 0 评论 -
solr 实现数据的删除和修改
修改主方法 public int saveContent(String enterpriseId, String enterpriseName, String lableType, String resouce, String pubDate, String content) { int state = 0; LBHttpSolrServer server = SolrUtil.g原创 2016-10-28 16:17:29 · 9358 阅读 · 0 评论