MapReduce实践

一、MapReduce实践

1、文件分发与打包（-file）

• 如果要分发的文件在本地且没有目录结构，可以使用-file /path/to/FILENAME选项分发文件，将本地文件/path/to/FILENAME分发到每个计算节点。
• 在Streaming程序中通过./FILENAME就可以访问该文件
• 对于本地可执行的文件，除了指定的mapper或reducer程序外，可能分发后没有可执行权限，所以需要在包装程序如mapper.sh中运行chmod +x ./FILENAME设置可执行权限，然后设置-mapper “mapper.sh” 。

题目：
指定计算白名单内单词的wordcount

[root@master run1]# cat run.sh 

HADOOP_CMD="/usr/local/hadoop-2.8.4/bin/hadoop"
STREAM_JAR_PATH="/usr/local/hadoop-2.8.4/share/hadoop/tools/lib/hadoop-streaming-2.8.4.jar"

INPUT_FILE_PATH_1="/The_Man_of_Property.txt"
OUTPUT_PATH="/output_file_broadcast"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH_1 \
    -output $OUTPUT_PATH \
    -mapper "python map.py mapper_func white_list" \
    -reducer "python red.py reduer_func" \
    -jobconf "mapred.reduce.tasks=3" \
    -file ./map.py \
    -file ./red.py \
    -file ./white_list

2、文件分发与打包 （-cacheFile）

• 如果文件（如字典文件）存放在HDFS中，希望计算时在每个计算节点上将文件当作本地文件处理，可以使用-cacheFile hdfs://host:port/path/to/file#linkname选项在计算节点缓存文件，Streaming程序通过./linkname访问文件。

[root@master mr_cachefile_broadcast]# cat run.sh 

HADOOP_CMD="/usr/local/hadoop-2.8.4/bin/hadoop"
STREAM_JAR_PATH="/usr/local/hadoop-2.8.4/share/hadoop/tools/lib/hadoop-streaming-2.8.4.jar"

INPUT_FILE_PATH_1="/The_Man_of_Property.txt"
OUTPUT_PATH="/output_cachefile_broadcast"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH_1 \
    -output $OUTPUT_PATH \
    -mapper "python map.py mapper_func ABC" \
    -reducer "python red.py reduer_func" \
    -jobconf "mapred.reduce.tasks=2" \
    -jobconf  "mapred.job.name=cachefile_demo" \
    -cacheFile "hdfs://master:9000/white_list#ABC" \
    -file "./map.py" \
    -file "./red.py"

3、文件分发与打包 （-cacheArchive）

• 如果要分发的文件有目录结构，可以先将整个目录打包，然后上传到HDFS，再用-cacheArchive hdfs://host:port/path/to/archivefile#linkname分发压缩包。

[root@master mr_cachearchive_broadcast]# vim run.sh 


HADOOP_CMD="/usr/local/hadoop-2.8.4/bin/hadoop"
STREAM_JAR_PATH="/usr/local/hadoop-2.8.4/share/hadoop/tools/lib/hadoop-streaming-2.8.4.jar"

INPUT_FILE_PATH_1="/The_Man_of_Property.txt"
OUTPUT_PATH="/output_cachearchive_broadcast"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH_1 \
    -output $OUTPUT_PATH \
    -mapper "python map.py mapper_func WH.gz" \
    -reducer "python red.py reduer_func" \
    -jobconf "mapred.reduce.tasks=2" \
    -jobconf  "mapred.job.name=cachefile_demo" \
    -cacheArchive "hdfs://master:9000/w.tar.gz#WH.gz" \
    -file "./map.py" \
    -file "./red.py"

此时对map.py也要做更改

[root@master mr_cachearchive_broadcast]# cat map.py 
#!/usr/bin/python

import os
import sys
import gzip
import time


def get_file_handler(f):
    file_in = open(f, 'r')
    return file_in

def get_cachefile_handlers(f):
    f_handlers_list = []
    if os.path.isdir(f):
        for fd in os.listdir(f):
            f_handlers_list.append(get_file_handler(f + '/' + fd))
    return f_handlers_list


def read_local_file_func(f):
    word_set = set()
    for cachefile in get_cachefile_handlers(f):
        for line in cachefile:
            word = line.strip()
            word_set.add(word)
    return word_set


def mapper_func(white_list_fd):
    word_set = read_local_file_func(white_list_fd)

    for line in sys.stdin:
#   time.sleep(100)
        ss = line.strip().split(' ')
        for s in ss:
            word = s.strip()
            if word != "" and (word in word_set):
                print "%s\t%s" % (s, 1)



if __name__ == "__main__":
    module = sys.modules[__name__]
    func = getattr(module, sys.argv[1])
    args = None
    if len(sys.argv) > 1:
        args = sys.argv[2:]
    func(*args)

4、输出数据压缩

• 输出数据量较大时，可以使用Hadoop提供的压缩机制对数据进行压缩，减少网络传输带宽
  和存储的消耗。
• 可以指定对map的输出也就是中间结果进行压缩
• 可以指定对reduce的输出也就是最终输出进行压缩
• 可以指定是否压缩以及采用哪种压缩方式。
• 对map输出进行压缩主要是为了减少shuffle过程中网络传输数据量
• 对reduce输出进行压缩主要是减少输出结果占用的HDFS存储。

5、全 局 排 序

• 单reduce
• 多reduce

6、表 单 J o i n

7、与 算 法 结 合