hadoop平台使用python编写mapreduce排序小程序

最新推荐文章于 2024-08-19 10:51:43 发布

马里奥赛德

最新推荐文章于 2024-08-19 10:51:43 发布

阅读量3.6k

点赞数

分类专栏： python2-7 linux 大数据文章标签： mapreduce python hadoop

本文链接：https://blog.csdn.net/w1573007/article/details/71124210

版权

本文介绍了在Hadoop 2.6.5环境中，使用Python 2.7.5编写MapReduce程序进行字典值排序的步骤。涉及map.py和reducer.py的编写，以及遇到的常见错误及其解决方案，如文件编码、换行符、Python解释器路径等问题。同时，提供了Hadoop Streaming的jar包位置和运行命令的注意事项。

摘要由CSDN通过智能技术生成

编写环境

hadoop-2.6.5
python-2.7.5
xshell连接
金山云平台，一台master，3台selvet

数据类型

map.py

  1 #!/usr/bin/env python
  2 import sys
  3 list1=[]
  4 for line in sys.stdin:
  5     line=line.strip()
  6     words = line.split("\n")
  7     list1.append(words[0])