利用hadoop+hive+python+qqwry.dat批量解析ip物理地址
因为要做用户地域分布,需要将大约1000W个ip地址解析出物理地址。本文使用Hadoop+hive+python+qqwry.dat的方式实现分布式批量查询。
整体的思路是用python解析qqwry.dat文件,将ip解析出地址,并将python脚本和qqwry.dat放入hadoop缓存,达到分布式批量处理的效果。
使用Python解析ip的帖子,请看
http://de
原创
2015-07-27 13:27:17 ·
1596 阅读 ·
0 评论