使用hadoop streaming时,如果数据只有一列,hadoop会自动在结尾加\t。
避免这种情况有两种解决方法:
1. 使用重定向:这也有两种实现
1)一种通过hadoop dfs -put/copyFromLocal命令,把streaming的标准输出重新定向到输出路径。
如:
${HADOOP_HOME}/bin/hadoop --config ${LOCAL_HDP_CONF_PATH} dfs -copyFormLocal- ${PACK_PATH}/${mapred_task_partition}.pack
其中标红的- 表示标准输入流
${HADOOP_HOME}是hadoop系统变量,表示分布式结点上的hadoop路径。
2)另一种是把streaming的标准输出重新定向到结点的本地文件,然后把输出的本地文件传递到输出路径。
如:$HADOOP_HOME/bin/hadoop fs -conf hadoop-site.xml -put local_file ${PACK_PATH}/$mapred_task_partition.pack
2. 使用hadoop streaming的参数
mapred.textoutputformat.ignoreseparator=true
这样就不会自动加\t了