MapReduce
大宝宝的小胖胖
这个作者很懒,什么都没留下…
展开
-
MapReduce高效实现Join
MapReduce高效实现Join主要思路一般方法Partitioner+compareTo+GroupingComparator组合高效实现合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你...原创 2019-12-01 16:05:47 · 135 阅读 · 0 评论 -
MapReduce 折半查找ip地址Python实现
MapReduce 折半查找ip地址准备ip定位数据map.pyrun.sh脚本: 准备ip定位数据 准备全球ip地址合集,大约12M,采用-cacheFile分发 ip.lib.txt数据格式大致如下: 0.0.0.0 0.255.255.255 NULL IANA保留地址 NULL 1.0.0.0 1.0.0.255 亚洲 亚太地区 NULL 1.0.1.0 1.0.1.255 亚洲 中国 福...原创 2019-11-01 19:49:41 · 504 阅读 · 0 评论 -
Mapreduce Wordcount白名单 Python实现
Mapreduce Wordcount白名单 Python实现 1.Mapper部分的map.py代码: 其中读入文件The_Man_of_Property.txt需要上传到HDFS文件系统上:hadoop fs -put The_Man_of_Property.txt / # coding=utf-8 import sys def read_local_file_func(f): w...原创 2019-10-30 10:32:48 · 257 阅读 · 1 评论