python spark2.0_Python+Spark2.0+Hadoop

Python+Spark2.0+Hadoop 机器学习与大数据实战

遇到的问题记录

1、启动 HDFS 报 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable，开启 debug1che

Failed to load native-hadoopwith error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path官方文档需要的文件名 libhadoop.so，但是 usr/local/hadoop/lib/native 文件中只有 libhadoop.so.1.0.0，官方编译软件确实有个 libhadoop.so 文件，但是是个 link1ln -s libhadoop.so.1.0.0 libhadoop.so

2、每次使用 start-all.sh 启动 HDFS 和 YARN 的时候无法启动 NameNode，每次都需要使用 hadoop namenode -format 格式化 HDFS 所有数据，才能启动

解决办法：配置 tmp 文件目录

默认在根目录/tmp 文件中，如果 tmp 文件中无重要文件可以清空文件夹1sudo rm -rf /tmp/*

创建 hadoop_tmp 目录1sudo mkdir /home/hduser/hadoop_tmp /*hduser是用户名*/

配置 core-site.xml 文件，新增如下节点1sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml