hadoop跑第一个python wordcount程序

参考博客：https://www.cnblogs.com/kaituorensheng/p/3826114.html

https://blog.csdn.net/wangato/article/details/70173682

hadoop集群框架搭建完了，试了几次很稳定，但是这只是第一步，编程才是重要的，另外，虽然hadoop的教程大多数都是用java编写也很清晰，但是对我来说最大的问题就是：我不会闸瓦，于是，找了几篇python实现wordcount的博客试着做一下

一：首先是编写python 的 mapreduce代码：

#!/usr/bin/env python
import sys
for line in sys.stdin:
    line = line.strip()
    words = line.split()
    for word in words:
        print "%s\t%s" % (word, 1)

此处采用的是标准输入输出，将其作为hadoop的接口。此段代码的作用是将文件分割成一个个的<word> 1的形式，其中strip是删除头尾空白符。

写完之后要增加可执行权限（reducer.py也是）

chmod +x hadoop-0.20.2/t