- 博客(2)
- 收藏
- 关注
RSS订阅原创 利用hadoop+hive+python+qqwry.dat批量解析ip物理地址
因为要做用户地域分布，需要将大约1000W个ip地址解析出物理地址。本文使用Hadoop+hive+python+qqwry.dat的方式实现分布式批量查询。 整体的思路是用python解析qqwry.dat文件，将ip解析出地址，并将python脚本和qqwry.dat放入hadoop缓存，达到分布式批量处理的效果。 使用Python解析ip的帖子，请看 http://de
2015-07-27 13:27:17
1595
原创 Hive计算玩家连胜&连败
前几天接到以需求，要求计算玩家的连胜&连败纪录，数据sample如下： 源数据的表结构如下： CREATE TABLE `t1`( `id` bigint, `player_id` int, `game_result` int, `season` int, `game_type` int) ROW FORMAT DELIMITED FIE...
2015-07-07 11:44:14
1313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人