spark第7天-linux

下载jdk

• 进入jdk官方下载地址，下载java se 7，按照教材选择的比较简单的rpm

出现插曲Sorry, you must accept the License Agreement before downloading，仔细看上方有需要勾选的accept the license

默认下载到下载文件夹里，把它搬到了/opt/java文件夹中，注意sudo权限问题，以及可以直接sudo -s进入root权限操作，最后exit退出root身份

• 接下来alien -i -c -v jdk-7u80-linux-x64.rpm

发现不管你把压缩文件放在哪里以及在哪里安装，最后一定会帮你挪到默认文件路径/usr/java/jdk1.7.0_80

• 设置环境变量java_home

1. 修改文件 vim ~/.profile

加入 export JAVA_HOME=/usr/java/jdk1.7.0_80

栽跟头的一点是等号左右两边不要加上空格！

在别的地方看的教程多加了两句：

export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

2. 把这个文件里保存的命令执行一次(方法是使用source命令)

执行命令  source ~/.profile

检验是否成功

第一种检验方式：$JAVA_HOME/bin/java -version

注意-version前面需要空格！

第二种检验方式：java -version

×××××

后来下载se8覆盖，java version "1.8.0_152"

----------------------------------------------------------------------------------

下载spark预编译包

选择的是spark1.6.2 hadoop2.6

• 解压

目录：/opt/spark

tar xvf spark-1.6.2-bin-hadoop2.6.tgz

• 测试圆周率程序：

进入spark目录：cd spark-1.6.2-bin-hadoop2.6

./bin/run-example SparkPi 10 2>/dev/null

（注意！运行时需要加上路径！！别把当前目录不当路径！！！如果你进入bin目录，运行时也需要加上路径，即命令为：./run-example SparkPi 10 2>/dev/null）

输出结果：Pi is roughly 3.143772

• spark交互式编程

./bin/spark-shell --master local[2]

其中2表示启动两个工作线程

同时master会启动一个http web服务，方便查看spark的工作状态。在浏览器中输入<LocalIP>:4040，可以出现具体界面。

此处犯蠢，localip是需要自己查本机的ip，而不是直接填这几个字母进去...比如我的就是输入http://172.22.255.xxx:4040

然后又跑了几个count first的例子

------------------------------------------------------------------

下一次进行2.3 编程指南

主要是rdd的创建和操作以及编译链接和打包