脚本统计ip的海外用户分布情况或者国内省份的分布情况

背景：日志文件会产生ip字段，现需要统计ip的分布情况

前提：必须有这么一个服务，输入指定的ip能返回相应的地理位置的信息。可以直接调用。

思想：首先提取出ip字段，一般用sed命令或者和cut结合。

例如，日志格式如下：

[INFO][2017-11-18 00:00:00] reqhandler.py 134, allocate, hid:XXXX msg:{'province': 'sn', 'ccid': -1, 'ip': 'xxx.xxx.xxx.xxx', 'isp': 'unicom', 'mid': 0, 'spaceid': '5A10BA4FCBB011E7A162000E1EFF0BA0', 'locator': 8, 'game': 10038, 'eid': 148079890, '_cmd_': 327681} 

可以用以下命令来提取ip字段。

grep "allocate," /home/XX/logs/*/XX.2017-11-17 | sed "s/^.* 'ip': '//g" | sed "s/', 'isp'.*//g" >> /home/XX/ip_1117.log

然后再用脚本去统计分布情况。（ip.mmdb 为一个ip映射的文件，此脚本用于统计国内省份分布情况）

# coding: utf8
import maxminddb
import csv


def get_country():
    reader = maxminddb.Reader('/home/XX/ip_log/ip.mmdb')

    en2zw = {}
    en2count = {}

    ips = get_record_from_file('/home/XX/ip_log/test.log')
    total_len = len(ips) / 1000
    count = 0
    for ip in ips:
        count += 1
        try:
            result = reader.get(ip)
            print result
        except Exception as ex:
            print ip, ex
            continue
        if not result:
            print ip, result
            continue
        zw = result['subdivisions']['names'].get('zh_CN', '')
        en = result['subdivisions']['names'].get('en', '')
        ct = result['country']['names'].get('en', '')
        print zw, en, ct
        if ct != 'China':
            continue

        if en not in en2zw:
            en2zw[en] = zw

        if en not in en2count:
            en2count[en] = 1
        else:
            en2count[en] += 1
    print '统计结果'
    print en2count
    en2count.pop('China', None)
    total = sum(en2count.values()) * 1.0
    print 'total:', total
    for en, count in en2count.iteritems():
        print 'en:%s, zh_CN: %s, count:%s percent:%s' % (en, en2zw.get(en), count, count / total)

def get_record_from_file(filename):
    u"""
    从文件中读取内容并放回，不适合操作大文件
    Args:
        filename {str} 文档的路径
    """
    ret = []
    with open(filename) as f:
        for record in f:
            record = record.strip()
            if not record:
                continue
            ret.append(record)
        return ret


if __name__ == '__main__':
    get_country()