spark、hadoop 问题合集

Hadoop:

1. 在执行时总出现 util.NativeCodeLoader:

18/05/11 10:24:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

提示Hadoop不能加载本地库

问题原因：

linux系统为32位的，但是官网提供的下载包是64位的，但是官网不提供32位系统下的安装包，只能自己编译打包源码

问题解决：

1. 启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。

2. 可以参考点击打开链接

Spark:

1. 在 通过运行Spark自带的示例，验证Spark是否安装成功 这一步时，遇到了如下：

Exception in thread "main" java.lang.UnsupportedClassVersionError: send_NO/Sender (Unsupported major.minor version 52.0)
        at java.lang.ClassLoader.defineClass0(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:502)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:123)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:250)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:54)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:193)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:186)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:299)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:265)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:255)
        at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:315)

问题原因：

一些解决方法说是输入   java -version  和  javac -version 检查是否是版本不一致造成的，我这里是一致的1.7

应该是下载的spark版本与要求的jdk版本不同，本机自带的jdk为1.7，现在要下载1.8版本的

问题解决：

重新到官网下载1.8版本的JDK，不用卸载之前的，然后再按照JDK环境配置的步骤来一遍就可以，配置完JDK的环境之后，记得重新  vim ~/.bashrc，在这个环境变量里，更改新的位置

export JAVA_HOME=/usr/local/jdk1.8.0

之后 source ~/.bashrc  重新生效即可