MapReduce工作笔记——Job上传普通文件和大文件

---

MapReduce工作笔记 系列目录：MapReduce工作笔记——目录

---

0. 前言

我们在配置MR Streaming任务的时候，通常会上传mapper、reducer以及其他会用到的一些文件，在MapReduce工作笔记——Hadoop shell 常用文件操作命令中提到过使用put数据上传HDFS。在执行MR Job 的时候，Hadoop会将其配置的文件数据打包成jar，两种上传的目标是不一样的，前者是数据，后者是配置，本文章将主要介绍普通脚本文件的上传以及大文件的上传。

---

1. 上传普通文件

上传本地文件可以使用-file 运用示例：

Code.1.1 file 上传示例

hadoop streaming \
  -mapper "./mapper.py" \
  -reducer "./reducer.py" \
  -file "$MY_PATH/reducer.py"