网站数据统计分析项目之后端脚本解读

网站数据统计分析项目之后端脚本解读

后端脚本要完成的功能

1、解析HTTP请求参数

2、从服务器获取客户端无法获取的信息（访客ip）

3、将采集到的数据写入log

4、生成一副1×1的空gif图片作为响应内容(响应头Content-type=image/gif)

5、在响应头中通过Set-cookie为客户端植入cookie

编写后端脚本

编写数据采集的后端脚本nginx.conf文件。

[hadoop@master conf] pwd
/home/hadoop/work/conf
[hadoop@master conf]$ vi nginx.conf
worker_processes	1;

error_log	logs/error.log;

events{
	worker_connections 1024;
}

http{
	log_format myformat "$msec^A$remote_addr^A$u_domain^A$u_url^A$u_title^A$u_referrer^A$u_sh^A$u_sw^A$u_cd^A$u_lang^A$http_user_agent^A$u_utrace^A$u_account";
	server{
		listen 8080;
		location /1.gif {
				#伪装成gif文件
				default_type image/gif;    
				#本身关闭access_log，通过subrequest记录log
				access_log off;
			  
				access_by_lua "
					-- 用户跟踪cookie名为utrace
					local uid = ngx.var.cookie_utrace     
					if not uid then
						-- 如果没有则生成一个跟踪cookie，算法为md5(时间戳+IP+客户端信息)
						uid = ngx.md5(ngx.now() .. ngx.var.remote_addr .. ngx.var.http_user_agent)
					end 
					ngx.header['Set-Cookie'] = {'utrace=' .. uid .. '; path=/'}
					ngx.location.capture('/save-log?' .. ngx.var.args .. '&utrace=' .. uid)
					--if ngx.var.arg_domain then
					-- 通过subrequest到/save-log记录日志，将参数和用户跟踪cookie带过去
						--ngx.location.capture('/save-log?' .. ngx.var.args .. '&utrace=' .. uid)
					--end 
				";  
			  
				#此请求不缓存
				add_header Expires "Fri, 01 Jan 1980 00:00:00 GMT";
				add_header Pragma "no-cache";
				add_header Cache-Control "no-cache, max-age=0, must-revalidate";
			  
				#返回一个1×1的空gif图片
				empty_gif;
			}   
			  
			location /save-log {
				#内部location，不允许外部直接访问
				internal;
			  
				#定义变量，注意需要unescape
				set_unescape_uri $u_domain $arg_domain;
				set_unescape_uri $u_url $arg_url;
				set_unescape_uri $u_title $arg_title;
				set_unescape_uri $u_referrer $arg_referrer;
				set_unescape_uri $u_sh $arg_sh;
				set_unescape_uri $u_sw $arg_sw;
				set_unescape_uri $u_cd $arg_cd;
				set_unescape_uri $u_lang $arg_lang;
				set_unescape_uri $u_utrace $arg_utrace;
				set_unescape_uri $u_account $arg_account;
			  
				#打开日志
				log_subrequest on;
				#记录日志到ma.log，实际应用中最好加buffer，格式为tick
				access_log logs/my.log myformat;
			  
				#输出空字符串
				echo '';
			}
	}

}

下面我们对后端脚本重难点分析：

log_format vs access_log

nginx服务器日志相关指令主要有两条:

1)log_format，用来设置日志格式

2)access_log，用来指定日志文件的存放路径、格式和缓存大小

举例：创建一个名字叫tick的日志格式

log_format tick "$msec $remote_addr $u_domain $u_url $u_title $u_referrer $u_sh $u_sw $u_cd $u_lang $http_user_agent $u_utrace $u_account";

subrequest

Nginx 世界里有两种类型的“请求”：

1)main request(主请求)

由 HTTP 客户端从 Nginx 外部发起的请求。比如，从浏览器访问Nginx就是一个“主请求”。

2)subrequest(子请求)

“子请求”则是由 Nginx 正在处理的请求在 Nginx 内部发起的一种级联请求。可以有多级，可递归。

模拟Http接口，并没有额外的Http或者Tcp传输开销，就像函数调用。

ngx.location.capture

用于发出一个同步的，非阻塞的Nginxsubrequest（子请求）。

location = /other {  
    ehco 'Hello, world!';  
}  
      
# Lua非阻塞IO  
location = /lua { 
    content_by_lua '  
        local res = ngx.location.capture("/other")  
        if res.status == 200 then  
            ngx.print(res.body)  
        end  
    ';  
} 

ngx.var.arg vs ngx.req.get_uri_args

两者都是为了获取请求uri中的参数，例如:

http://pureage.info?id=1

为了获取输入参数id，以下两种方法都可以：

id = ngx.var.arg_id
id = ngx.req.get_uri_args[“id"]

它们的区别在于：当请求uri中有多个同名参数时， ngx.var.arg_xx的做法是取第一个出现的值，ngx.req_get_uri_args["xx"]的做法是返回一个table

set_unescape_uri

ngx.var.arg与ngx.req.get_uri_args获取的请求参数是没解码的。

如果你想对 URI 参数值中的 %XX 这样的编码序列进行解码，可以使用第三方 ngx_set_misc 模块提供的 set_unescape_uri 配置指令：

location /test {
        	set_unescape_uri $name $arg_name;
        	set_unescape_uri $class $arg_class;
        	echo "name: $name";
        	echo "class: $class";
   	 }