pyspark运行报错:pyspark.sql.utils.IllgalArgumentException

最新推荐文章于 2024-05-21 10:45:52 发布

猿码合一

最新推荐文章于 2024-05-21 10:45:52 发布

阅读量835

点赞数

分类专栏：大数据框架文章标签： spark

本文链接：https://blog.csdn.net/qq_43168299/article/details/108406226

版权

大数据框架专栏收录该内容

2 篇文章 0 订阅

订阅专栏

在需要绕过hive启动spark时，报一下错误，可用。亲测有效！！！

hadoop 关闭安全模式

临时解决

hadoop dfsadmin -safemode leave

永久解决

cd /root/bigdata/hadoop/etc/hadoop
vi hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/root/bigdata/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/root/bigdata/hadoop/hdfs/data</value>
        </property>
<!-- 添加下列代码 -->  
        <property>
                <name>dfs.safemode.threshold.pct</name>
                <value>0</value>
        </property>
  <!-- end -->  
</configuration>