一、 安装过程中主要注意一下几点:
- Spark, hadoop和java版本是否匹配,特别是java版本;
- 在设置各个环境变量时可以辅助以自己手动选择文件夹,确认设置的环境变量地址都能够和本地文件夹对应得上;
二、 安装步骤:
- 首先安装Anaconda, 此处安装的是Anaconda3-5.3.1-Windows-x86_64.exe,简单粗暴一直“下一步”就好;
- 安装JDK,目前运行没有出问题的是jdk-8u231-windows-x64.exe(对应java版本为1.8,目前新出版本谨慎安装,楼主安装了
![bdd30eba67231da7c4ef035e09fa7a9f.png](https://i-blog.csdnimg.cn/blog_migrate/51d8e7e7727f47065b48378aa5277a63.png)
只有jdk1.8 没有报错,jdk下的内容为:
![0809fe7b8546694ce7e98fb5ca70002b.png](https://i-blog.csdnimg.cn/blog_migrate/92c7d8c6a964fe2c115f6263a9b03955.jpeg)
- 下载APache Spark
![a7a7acee20bd96e0316d8ee0ba495374.png](https://i-blog.csdnimg.cn/blog_migrate/9db2d95b4875d12e76081f82c9c49f93.jpeg)
下载后解压缩到本地文件夹下:
![11f2fb50daa002170238ad9137cbdca6.png](https://i-blog.csdnimg.cn/blog_migrate/8353976892d87c4001b275bc7285f6e9.jpeg)
- 下载Hadoop
![d9e3b025e401dc72c61d902ffc9a564a.png](https://i-blog.csdnimg.cn/blog_migrate/8240fcd7024709302e4d41ddf1e79b2d.jpeg)
下载后解压缩放到本地文件夹下:
![c70655b28df401187b235fbd2d1a870b.png](https://i-blog.csdnimg.cn/blog_migrate/8c21b6753fc828e54e492e8da1b9d853.jpeg)
- 集中配置系统和用户变量;
控制面板——系统和安全——系统——高级系统设置
![94fa306319dbf35cee47e0cf3cb435c8.png](https://i-blog.csdnimg.cn/blog_migrate/78523f05e9b5ffc70f8084715a31b25a.jpeg)
再点击环境变量
(1)在“用户变量”中“新增”的绝对路径:
HADOOP_HOME: E:hadoop-2.10.0.tarhadoop-2.10.0
举一个栗子:
![ff5806cfd3a8c4271a0762b8834e4afd.png](https://i-blog.csdnimg.cn/blog_migrate/833684955121d8ac6051ad27b6930d44.jpeg)
JAVA_HOME:C:Program FilesJavajdk1.8.0_231
SPARK_HOME:E:spark-3.0.0-preview2-bin-hadoop2.7spark-3.0.0-preview2-bin-hadoop2.7
SCALA_HOME:C:Program Files (x86)scala
PYSPARK_DRIVER_PYTHON:ipython
PYSPARK_DRIVER_PYTHON_OPTS:notebook
PYSPARK_PYTHON:E:Anacondapython.exe
选中PATH并选择“编辑”,接着按“新建”增加如下六条:
![e1659a5f05f347dc2a6f4e2e8236b8f5.png](https://i-blog.csdnimg.cn/blog_migrate/3273db0fc6e8286f26da29d16cea56d0.png)
![32211a8b5fe1c50fbf20184cf465b911.png](https://i-blog.csdnimg.cn/blog_migrate/d56082c201351fce2188e0b4286fb143.png)
(2)在“系统变量”中“新增”:
HADOOP_HOME: E:hadoop-2.10.0.tarhadoop-2.10.0
JAVA_HOME:C:Program FilesJavajdk1.8.0_231
CLASSPATH:.;%JAVA_HOME%lib;%JAVA_HOME%libtools.jar(备注:一定要写完加黑字体内容)
SPARK_HOME:E:spark-3.0.0-preview2-bin-hadoop2.7spark-3.0.0-preview2-bin-hadoop2.7
PYSPARK_DRIVER_PYTHON: jupyter
PYSPARK_DRIVER_PYTHON_OPTS:notebook
PYSPARK_PYTHON:E:Anacondapython.exe
选中PATH并选择“编辑”,接着按“新建”增加如下三条:
%JAVA_HOME%bin
%HADOOP_HOME%bin
%SPARK_HOME%bin
接下来一直按“确定”即可
- 在Anaconda prompt中输入"pyspark"即可触发jupyter。