Spark学习笔记（一）（Ubuntu）linux下配置spark环境

      本人一个学生党， 因为导师要使用spark分布式计算，但是使用spark又要安装JDK。折腾了很久才弄好，下面根据linux新手总结下面教程。

      虚拟机：VMware Workstation 10

      操作系统：ubuntu-14.04-desktop-amd64

      JAVA版本：jdk-8u101-linux-x64    http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

      第一步：

      我们先检查下电脑是否已经安装了JDK，方法很简单，按Ctrl+Alt+T 呼出控制台，然后输入 java -version， 如果电脑没有安装JDK那么会出现下面的情况:

     

     如果出现

    

    说明JDK已经安装好了。

    下面进行安装JDK的正式步骤：

    一般安装完Ubuntu就会默认有firefox浏览器，我也是用这个浏览器下载JDK，那么下载的步骤跟windows一样，新手应该知道的。下载完之后可以在firework下载窗口那里右键点击Open Containing Folder。

   

    然后我们就可以直接把这个文件拖到Downloads文件夹里面去，这个操作主要为后面移动文件做准备。网上很多都是用命令行进行解压缩操作，新手不熟悉的话，最简单的方法当然还是在图形窗口右键选择“解压到此处”，这个方式比较直接。

    然后再次呼出控制台，输入

    sudo mv Downloads/jdk1.8.0_101 /usr/lib/jvm/        这里的jdk1.8.0_101要用户下载的匹配，我这里是1.8.0_101，大家根据自己的修改。输入完提示收入密码，输完密码就ok了。

    这句代码的意思是 以管理员身份将我们的Downloads下的文件复制到/usr/lib/jvm目录下，这操作我们无法用图形桌面去做，因为图形桌面权限不够。其实把目录移动过去就算是安装了，我一直保留着windows的思维，曾经一度非常烦恼怎样安装JDK，实际上复制过去就算安装了T  T。

    

    再接下来就是配置环境变量了。其实这个操作按照步骤来走比windows要简单。

    呼出控制台输入： gedit ~/.bashrc  

    补充： 在网上寻找配置环境的代码n久，反正各种输入都是出现些错误，新手不是很懂T T。 如果前面步骤正确的话，输入上面这句代码后会出现文本编辑器，之前也不知道找的代码什么情况，输入之后总是在控制台里面出现这段文字，总是修改不了，很是烦恼。这里文本编辑器就好搞了。直接copy哈哈。

    

     然后我们在文本的末尾加上：

     export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101                                   
     export JRE_HOME=${JAVA_HOME}/jre
     export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
     export PATH=${JAVA_HOME}/bin:$PATH

    这里注意，jdk1.8.0_101 还是跟各位的jdk版本适应，不要这里直接照抄。

    然后按保存快捷键（Ctrl+S）关闭文本编辑。

    保存环境变量，退出编辑器，输入命令使之生效：

    source ~/.bashrc

    最后，我们可以输入java -version来判断是否安装成功，如果出现文章前面给出的图片就说明安装完成。

   

    其实找到一篇帖子很好的说明了spark环境的配置，也比较实用： http://blog.csdn.net/u010171031/article/details/51849562

    这里注意一点：国内学习spark暂时没有发现比较好的资料，最好的资料估计还是官方的文档。看了下官方的文档，官方的文档主要是采用scala语言进行编写，上面的帖子主要是采用python语言。我刚开始按照上面帖子提到的方法进入spark总是不能运行官方的例程。

   实际上进入spark的scala模式是：进入spark目录下的bin文件，打开里面的spark-shell。

   命令：  cd /usr/lib/spark/spark-1.4.0/bin/

   运行  spark-shell

   然后就进入spark的scala编写环境了。