电商大数据分析平台（三）nginx配置及flume读取日志信息

一、nginx配置

在本项目中nginx的作用只是接收客户端发送的事件，并将相应的session写入日志文件中，所以配置较为简单，只需要配置写入的日志文件和写入的格式

1.地址配置

        server {
                listen       80;
                location = /index{
                        index index.html index.html;
                        root /data/www/vhost1;
                        }
                location /log.gif{
                        root /data/www/vhost1;
                        access_log /var/log/nginx/access.log main;
                        }

2.日志格式设置

nginx写入日志的内容为客户端地址，跳转到web页面前的地址，服务器端地址，请求url，以“ - ”（空格-空格）隔开。

log_format main  '$remote_addr - $http_referer - $server_addr - $request_uri';

二、flume配置

flume在这里主要是对nginx产生的access.log文件进行监听，当有session记录时flume将其提取并写入HDFS中，flume的source端用的是exec的source，即通过命令监控，命令的话为tail -F /var/log/nginx