Spark local 运行须知

下载带Hadoop的spark版本

本地解压spark压缩包

基本步骤：

1.到spark官网  https://spark.apache.org/downloads.html  下载with hadoop版本的

这里要注意的是，下载with hadoop版本的，即本地不需要再进行hadoop集群的安装部署。

下载后解压，到bin目录下执行spark-shell.cmd，此时会报

java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': ........

Caused by: java.lang.reflect.InvocationTargetException: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':.................

错误原因是因为没有下载Hadoop windows可执行文件。

2.下载对应版本的hadoop binary文件

下载链接    https://github.com/steveloughran/winutils

下载后将对应版本的HADOOP_HOME添加到环境变量，bin也加到path里

3.这时会报一个The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw- (on Windows)

这个是/tmp/hive的权限错误，这时到步骤2中下载的hadoop/bin下面，执行 winutils.exe chmod 777 E:\tmp\hive

这里的前缀E:\表示我的spark程序解压在E盘了。\tmp\hive这个是固定的文件夹，即已经创建好了。

这个文件夹比较明显就是spark的临时文件目录了。

至此，LOCAL模式搭建完毕。spark-shell.cmd运行没有错误后，IDE用代码的方式运行spark程序，也不会报错了。

Spark的成功运行标志：

作者：达达7
链接：https://www.jianshu.com/p/15570762013f
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

 

注意：

重启黑框、idea编辑器,在运行