Jupyter Notebook+Spark安装

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_41845533/article/details/86534533

安装JDK8

Windows安装jdk8

下载地址:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  1. 配置环境变量 ,我的安装地址是E盘;
  2. JAVA_HOME
    E:\jdk8;
  3. CLASSPATH
    .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
  4. PATH(新增PATH环境变量)
    .;E:\jdk8\jre\bin;E:\jdk8\bin;
  5. 验证是否安装成功 ,dos 命令 java javac java -version 各个敲一下;
    Java安装成功

Ubuntu安装

—暂略—

安装Spark

Windows安装Spark

下载地址:
http://spark.apache.org/downloads.html

  1. 注意,此处版本必须是2.3.2或以下,解压到E盘,重命名为spark
  2. 配置环境变量 ,新建环境变量SPARK_HOME
    E:\spark
  3. PATH
    %SPARK_HOME%\bin;%SPARK_HOME%\sbin;

Ubuntu安装Spark

—暂略—

安装Hadoop

Windows安装Hadoop

上面安装spark的时候有对hadoop的版本要求,这里要求的是2.7及以后的版本
下载地址:
http://hadoop.apache.org/releases.html

  1. 解压到E盘,重命名为hadoop
  2. 配置环境变量 ,新建环境变量HADOOP_HOME
    E:\hadoop
  3. PATH
    %HADOOP_HOME%\bin;
  4. 下载压缩包,重命名为mater.zip然后解压出来,复制其中的winutils.exe和winutils.pdb到目录:E:\hadoop\bin
  5. 验证是否安装成功 ,当输入命令pyspark出现以下结果时表明spark安装配置完成了 验证是否安装成功 ,当输入命令pyspark出现以下结果时表明spark安装配置完成了
    Spark安装成功

Ubuntu安装Hadoop

—暂略—

安装Anaconda

Windows安装Anaconda

下载地址:
https://www.anaconda.com/download/#windows

  1. 安装过程中:
    Anaconda安装
  2. 以管理员身份启动CMD
  3. pip install pyspark

Ubuntu安装Anaconda

—暂略—

在Jupyter Notebook运行Python Spark程序

运行命令

Windows本地运行

  1. 创建ipython目录创建ipython目录
  2. 配置环境变量,CMD中输入
    setx PYSPARK_DRIVER_PYTHON ipython
    setx PYSPARK_DRIVER_PYTHON_OPTS notebook
  3. 本地运行Pyspark
    从新打开一个CMD,输入
    pyspark --master local[4]
    Windows本地运行Pyspark

Windows yarn

—暂略—

Windows standalone

—暂略—

Ubuntu本地运行

—暂略—

Ubuntu yarn

—暂略—

Ubuntu standalone

—暂略—

展开阅读全文

没有更多推荐了,返回首页