Windows 10 安装spark

安装Java

1. 安装Java JDK, 注意, 安装路径不能有空格, 比如c:\program files\java是不行的, 我是装在c:\Java
2. 安装好后设置环境变量JAVA_HOME=c:\Java\jdk_path

安装winutils

1. 上https://github.com/steveloughran/winutils/tree/master/ 下载winutils, 要注意版本要和你将要下载的spark要保持一致
2. 在机器上建一个hadoop\bin目录, 我是建在c:\hadoop\bin, 然后把下载好的winutils.exe放进来
3. 设置环境变量HADOOP_HOME=c:\hadoop

下载Spark

1. 从spark上下载最新的spark
2. 直接解压, 我是放到了c:\spark目录
3. 开一个cmd窗口, 运行bin\spark-shell试试

其它

1. 如果出现The root scratch dir: /tmp/hive on HDFS should be writable错误, 用winutils重新设置一下目录权限
   具体方法
   
   1. 开一个cmd
   2. cd 到c:\hadoop\bin
   3. 运行winutils.exe chmod -R 777 c:\tmp