solve error pydoop.LocalModeNotSupported: ERROR: Hadoop is configured to run in local mode

最新推荐文章于 2023-04-25 08:15:00 发布

序木

最新推荐文章于 2023-04-25 08:15:00 发布

阅读量884

点赞数

分类专栏：开发工具深度学习文章标签： solve error pydoop.LocalModeNotS ERROR Hadoop is conf

本文链接：https://blog.csdn.net/cc1949/article/details/78612444

版权

开发工具同时被 2 个专栏收录

34 篇文章 3 订阅

订阅专栏

深度学习

19 篇文章 1 订阅

订阅专栏

问题：

pip安装pydoop的时候报错：

This will solve error pydoop.LocalModeNotSupported: ERROR: Hadoop is configured to run in local mode

解决：

编辑hadoop的配置文件：

mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>