- 博客(2)
- 收藏
- 关注
原创 利用hadoop+hive+python+qqwry.dat批量解析ip物理地址
因为要做用户地域分布,需要将大约1000W个ip地址解析出物理地址。本文使用Hadoop+hive+python+qqwry.dat的方式实现分布式批量查询。 整体的思路是用python解析qqwry.dat文件,将ip解析出地址,并将python脚本和qqwry.dat放入hadoop缓存,达到分布式批量处理的效果。 使用Python解析ip的帖子,请看 http://de
2015-07-27 13:27:17 1596
原创 Hive计算玩家连胜&连败
前几天接到以需求,要求计算玩家的连胜&连败纪录,数据sample如下: 源数据的表结构如下: CREATE TABLE `t1`( `id` bigint, `player_id` int, `game_result` int, `season` int, `game_type` int) ROW FORMAT DELIMITED FIE...
2015-07-07 11:44:14 1322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人