MapReduce 折半查找ip地址Python实现

最新推荐文章于 2022-12-03 22:15:14 发布

大宝宝的小胖胖

最新推荐文章于 2022-12-03 22:15:14 发布

阅读量504

点赞数

分类专栏： # MapReduce 文章标签： MapReduce 查询ip地址

本文链接：https://blog.csdn.net/qq_34122262/article/details/102861886

版权

该博客介绍了如何利用MapReduce技术在Python中实现IP地址的折半查找。首先，准备了约12M的全球IP地址库，并通过-cacheFile进行数据分发。接着，在map.py中，利用lambda表达式将IP地址转化为数字，通过enumerate和切片操作进行处理。run.sh脚本用于执行相关任务，最终得到了预期的结果。

摘要由CSDN通过智能技术生成

MapReduce 折半查找ip地址

准备ip定位数据

准备全球ip地址合集，大约12M，采用-cacheFile分发
ip.lib.txt数据格式大致如下：

0.0.0.0 0.255.255.255 NULL IANA保留地址 NULL
1.0.0.0 1.0.0.255 亚洲 亚太地区 NULL
1.0.1.0 1.0.1.255 亚洲 中国 福建
1.0.2.0 1.0.3.255 亚洲 中国 福建
1.0.4.0 1.0.7.255 大洋洲 澳大利亚 NULL
1.0.8.0 1.0.15.255 亚洲 中国 广东
1.0.16.0 1.0.31.255 亚洲 日本 NULL
1.0.32.0 1.0.63.255 亚洲 中国 广东

输入数据cookie_ip.txt：

ECEE8FBBBB	113.224.76.226
ED38780B1D	106.36.217.145
120BB4FB44	113.109.42.83
9D4EC87B4B	219.153.212.31
AF0E43C785	111.77.229.40
4AAAEB560B	60.13.190.132
53BAABADD8	124.167.254.130

map.py

第一步用lambda将ip地址转换成数字，enumerate把一个字符串按“.”分隔，返回拆分后的索引+拆分后的值得集合，[::1]是把集合倒序，然后遍历倒序后的集合，256**j*int(i)，求256的j次方乘i，然后把求出来的值累加。

#!/usr/local/bin/python
# coding = utf-8

import sys

ip_convert = lambda x:sum([256**j*int(i) for j,i in enumerate(x.split(".")[::-1])])

def load_ip_lib_func(ip_lib_fd):
    ip_lib_list = []
    file_ip = open(ip_lib_fd,"r")
    for line in file_ip:
        ss = line