大数据应用日志采集之Scribe 安装配置指南

大数据应用日志采集之Scribe 安装配置指南

1.概述

Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能从各种日志源收集日志，存储到一个中央存储系统上，便于进行集中统计分析处理。它为日志的”分布式收集，统一处理”提供了一个可扩展的，高容错的方案。scribe代码很简单，但是安装配置却很复杂，本文记录了作者实际的一次安装的过程，感觉真是不一般的琐碎，另外Scribe开源社区的版本已经是几年前的版本了，最新的维护信息一致没有看到，HDFS和Thrift的版本使用的都是比较旧的版本，考虑另开一个分支，升级一下Scribe，看到时候有没有时间了。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣君羊：522189307，欢迎添加，了解课程介绍

2.Scribe 安装

Scribe 依赖于多个环境，有pthyon,boost,thirft,libevent,openssl等。在编译的时候还有一些编译错误需要进行修正，安装的和准备如下。

2.1 环境准备

　　1.安装编译环境

#yum install gcc-c++ libevent libevent-devel automake autoconf m4 bison zlib zlib-devel bzip2 bzip2-devel flex pkgconfig python python-devel ruby ruby-devel mono-devel libxml2 libxml2-devel ant openssl-devel

　　2.安装boost环境:最低版本1.36

        #wget

        #tar zxvf boost_1_45_0.tar.gz

        #cd boost_1_45_0

        #./bootstrap.sh 

        #./bjam

     　#./bjam --s HAVE_ICU=1 --prefix=/usr/local/boost --includedir=/usr/local/boost/include  --libdir=/usr/local/boost/lib

       #./bjam install –pre