在大规模Hadoop集群上，通过hadoop-stream执行Python任务时，遇到'subprocess failed with code 1'错误通常是由于缺失第三方库或Python解释器问题。传统的解决方案是确保所有Datanode具有相同Python环境，但这在节点数量增加时变得复杂。文章介绍了使用conda创建可移植的Python环境，以替代virtualenv打包解释器，提高环境的移植性和稳定性。详细步骤包括如何使用conda创建指定版本的Python环境，并解决了virtualenv在某些场景下软链接失效的问题。
在利用hadoop-stream工具发布python任务时很容易出现'subprocess failed with code 1'错误，一般这种错误都是因为Datanode在执行python脚本时发生异常导致。比较常见的是python脚本执行中发生了一些错误，这种可以通过增加try语句解决，另外最常见的就是缺失第三方库了。
缺失第三方库最简单的解决方法当然是在所有的Datanode中部署同样的python解释器——这种方法在小集群下可行，但集群节点数量上来后每当增加新库或更新python版本时就变成了繁琐又耗时的工作。而且如果有一个节点的python解释器出了问题排查起来也是相当恼人。
在之前的工作中，尝试了网上提到的virtualenv打包python解释器然后通过hadoop-stream的-archives选项把打包好的python解释器分发到每个执行节点中，然后指定使用这个解释器执行python脚本，节点就会自动解压这些包并执行相应脚本。
而在实际使用中发现打包的python解释器在测试环境没问题，到了实际的集群上就报错，排除了数据和脚本原因后怀疑还是python解释器运行有问题。把打包的python解释器传到服务器解包运行发现原来是lib文件夹下缺少了一些基础python库，这些库在virtualenv创建的环境中都是以软链接的形式保存的，所以当打包的python解释器在其他服务器上运行（如服务器上的python版本不同或没有python解释器或路径不同）这些软链接就会失效导致python解释器运行出错。解决办法有2种：
一、利用conda来创建一个python解释器的环境，也是本文推荐的方法
这种方法的好处在于可以指定安装任意python版本和第三方库，不像virtualenv一样是在原环境中复制python解释器然后再通过pip来安装第三
最低0.47元/天 解锁文章
153
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
