hadoop 常用环境变量及使用

hadoop 常用环境变量及使用

HADOOP_HOME

计算节点上配置的Hadoop路径

LD_LIBRARY_PATH

计算节点上加载库文件的路径列表

PWD

当前工作目录

dfs_block_size

当前设置的HDFS文件块大小

map_input_file

mapper正在处理的输入文件路径，包含文件名

mapred_job_id

作业ID

mapred_job_name

作业名

mapred_tip_id

当前任务的第几次重试

mapred_task_id

任务ID

mapred_task_is_map

当前任务是否为map

mapred_output_dir

计算输出路径

mapred_map_tasks

计算的map任务数

mapred_reduce_tasks

计算的reduce任务数

-----------------------在streaming的map中使用上述环境变量的办法----------------------

例如：map_input_file

/home/work/hadoop-client/hadoop/bin/hadoop streaming -cmdenv map_input_file -mapper "sh map.sh"

map.sh

#!/bin/bash

echo $map_input_file