- 博客(5)
- 收藏
- 关注
RSS订阅
原创 Flume+Elasticsearch搭建实时日志分析系统
最近做一个检测全球网络状况的项目，主要用于检测全球各个国家，地区的机房网络状况，服务的性能，DNS解析等等...情况的数据，通过中央服务器添加任务，下发任务到部署在全球各个国家和地区的minipc，minipc将获取到的数据反馈到监控服务，然后进行数据整合和分析提供报表，供公司更有针对性的优化网站性能。之所以采用Flume + Elasticsearch，而没有采用ELK（elasticsea...
2015-10-30 15:06:27
8262
原创 Flume + Keepalived构建高可用分布式采集系统
上一篇《Flume之Failover和Load balancing原理及实例》的实例的架构如下：10.0.1.76作为Client，通过exec获取nginx的日志信息，然后将数据传到10.0.1.68（配置了Failover和Load balancing）的节点，最后10.0.1.68将数据发送的10.0.1.70，77，85，86，87节点，这些节点最终将数据写到本地硬盘。 那...
2015-10-23 14:56:03
5051
原创 Flume采用zookeeper管理配置
Flume支持通过zookeeper来管理Agent的配置，但是这是一个实验性的功能。配置文件必须先上传到zookeeper中。以下Agent在Zookeeper节点树的结构： - /flume |- /a1 [Agent配置文件] |- /a2 [Agent配置文件]处理配置文件的类： org.apache.flume.node.PollingZooKeepe...
2015-10-27 11:05:11
10164
原创 keepalived安装部署及Flume+keepalived高可用
Keepalived简介 keepalived是一款失效转发机制的软件， 基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。它的作用是检测web服务器的状态，一个WEB服务至少会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器...
2015-10-23 14:50:59
3082
原创 Flume之Failover和Load balancing原理及实例
Failover Sink ProcessorFailover Sink Processor维护了一个sink的优先级列表，具有故障转移的功能，具体的配置如下（加粗的必须配置）： 属性名称 默认值 描述 sinks – 多个sink用空格分开。 processor.type default 组件的名称，必须是：failover proce...
2015-10-22 17:44:46
5007
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人