如何安装并使用pyspark

1. Anaconda的安装

      （1）我们要把本地Anaconda上传到Linux上，我们使用xshell中的文件传输，它会自己运行xftp,前提是我们要有xftp

上传后我们来运行这个文件，但我在运行过程中它提示我要安装一个bzip2的东西，我这里就先写一下吧

   （2）安装bzip2

         安装软件要切换到root用户下才能够使用，因为普通用户没这个权限

         在root用户下输入  yum -y install bzip2

                 

       然后我们退出root用户，开始来安装Anaconda  bashAnaconda3-5.0.1-Linux-x86_64.sh了，

                    

                      

                                 

                      

            在这里等待一段时间

              

           看到这个就说明我们安装好了Anaconda3了

              

         然后来更新下环境变量

            

         接着我们来看下我们的python版本

         

     看到python3版本就说明我们当前的python版本是python3，这个python在Anaconda3中

2. 安装spark

         （1） 使用xshell和xftp来把这个spark版本导入到hadoop用户下并解压到opt目录下

          （2）配置spark的环境变量，这个环境配置和之前的jbk和hadoop配置一样，也是在spark目录下声明一个变量，将当前路径赋给该变量，这里我就不多说，可以看我之前写的如何配置hadoop环境的写法。它只有SPARK_HOME和PATH，将之前我配置的环境变量稍微改下就行了，这没有SPARK_CONF_DIR，这点要记住

               使得hadoop用户下的.bashrc文件有spark的环境设置

看到这个后，更新下环境变量，source ~/.bashrc

   （2）然后我们输入spark-shell

看到上面这个就说明我们的spark能运行了

3. 使用notebook

          （1）在使用之前要先开启hadoop

                  使用  start-dfs.sh  回车

          （2）输入  jupyter-notebook  -- ippython2

               这里这个python是我们的的主机名，如果主机名错误的话它也不会启动，我们来输入这个命令，就会看到以下内容：

 把这个链接赋值下拿到浏览器中去访问，我们就会看到

           

点击我们箭头指向的地方的文件，就会看到以下东西，当然这个代码是我自己打的，我们要把这段代码复制上去，然后运行一下

就会看到如箭头所指的地方出来这东西，说明我们能在这使用spark了，记住，我们现在敲的代码是python代码，具有python风格，但其中也有spark的内容在其中