系统:Windows10
Spark 2.1.1+Hadoop 2.8.3+Scala 2.11.8+jdk1.8.0_171
最近在学习spark的东西,本来想按照官方文档学的,但是第一个例子就报错。
找了一下是启动spark-shell的时候就报错了已经
报错信息如下:
<console>:14: error: not found: valuespark
import spark.implicits._
^
<console>:14: error: not found: valuespark
import spark.sql
^
以下方法,亲测有效:
详情参照网址:https://stackoverflow.com/questions/44386153/why-does-spark-shell-fail-with-error-not-found-value-spark
首先要确定你的hadoop有winutils.exe这个文件,没有的话CSDN或者GitHub上面应该有的下载,下载好放到%HADOOP_HOME%\bin 文件夹下面
然后创建文件夹 C:\tmp\hive(我的好像一开始就有)
在CMD使用以下命令更改权限:
C:\Users\<User_Name>>winutils.exe chmod -R 777 C:\tmp\hive
再删除C:\Users\<User_Name>\metastore_db 这个文件夹
之后再启动spark-shell就不会报错了。
截图如下: