Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056674

一、场景描述

比如我们的网站共有5台Web设备，日志文件存放在/data/logs/日期(20180114)/access.log。日志为默认的Nginx定义格式，如下所示：

10.2.2.234 - - [12/Jan/2018:08:36:23 +0800] "POST /statistics/count/collection?company=6F79078F79D77550739EF61CD0DC2A83&nonce_str=nbmmn8bds4j84spu0c50ed0tm2ihfk3e&timeStamp=1515717383974&sign=91803CDB91BD598F29643F899E529D4A&client=ios&server=statistics HTTP/1.1" 200 287 "-" "CareHeart/2.2.7 (iPhone; iOS 10.3.1; Scale/2.00)"

共有12列数据(空格分隔)分别为：

1)客户端IP

2)空白(远程登录名称)

3)空白(认证的远程用户)

4)请求时间

5)UTF时差

6)方法

7)资源(访问的路径)

8)协议

9)状态码

10)发送的字节数

11)访问来源

12)客户端信息(不具体拆分)

二、编写部署HDFS的客户端

这里，我们新建脚本文件hdfsput.py，具体通过subprocess.Popen()方法调用HDFS相关外部命令，实现创建HDFS目录及客户端文件上传，具体代码如下：

【/usr/local/python/source/hdfsput.py】

# -*- coding:UTF-8 -*-
'''
Created on 2018年1月14日

@author: liuyazhuang
'''

import subprocess
import sys
import datetime

webid = "web1" #HDFS存储日志的标志，其他Web服务器分别为web2、web3、web4、web5
currdate = datetime.datetime.now().strftime('%Y%m%d')
#日志本地存储路径
logspath = "/data/logs/" + currdate + "/access.log"
#HDFS存储日志名
logname = "access.log." + webid

try:
    #创建HDFS目录，格式为website.com/20180114
    subprocess.Popen(["/usr/local/hadoop-2.5.2/bin/hadoop", "fs", "-mkdir", "hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate], stdout = subprocess.PIPE)
except Exception,e:
    pass
#上传本地日志到HDFS
putinfo = subprocess.Popen(["/usr/local/hadoop-2.5.2/bin/hadoop", "fs", "-put", logspath, "hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate+ "/" + logname], stdout = subprocess.PIPE)

for line in putinfo.stdout:
    print line

脚本也可以写成如下所示：

# -*- coding:UTF-8 -*-
'''
Created on 2018年1月14日
@author: liuyazhuang
'''
 
import subprocess
import sys
import datetime
 
webid = "web1" #HDFS存储日志的标志，其他Web服务器分别为web2、web3、web4、web5
currdate = datetime.datetime.now().strftime('%Y%m%d')
#日志本地存储路径
logspath = "/data/logs/" + currdate + "/access.log"
#HDFS存储日志名
logname = "access.log." + webid
 
try:
    #创建HDFS目录，格式为website.com/20180114
    subprocess.call("/usr/local/hadoop-2.5.2/bin/hadoop fs -mkdir hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate, shell=True)
except Exception,e:
    pass
#上传本地日志到HDFS
putinfo = subprocess.call("/usr/local/hadoop-2.5.2/bin/hadoop fs -put " + logspath + " hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate+ "/" + logname, shell=True)
print putinfo

三、部署HDFS的客户端

我们需要在5台Web服务器部署HDFS的客户端，以便定期上传Web日志到HDFS存储平台，最终实现分布式计算。需要安装JDK(配置环境变量)、Hadoop(配置环境变量)。然后添加上传日志的功能到crontab,内容如下：

55 23 * * * /usr/bin/python /usr/local/python/source/hdfsput.py >> /dev/null 2>&1

截止目前，数据的分析源已经准备就绪，接下来的工作便是分析了。