安装spark

下载spark1.0.0的 spark-1.0.0-bin-hadoop1版本 解压到目录

在conf/spark-evn.sh下添加

44export JAVA_HOME=/usr/local/java/jdk1.8.0_51
45export SCALA_HOME=/usr/local/spark/scala-2.12.0-M4
46export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-1.2.1/conf
47export SPARK_WORKER_MEMORY=1g
48export SPARK_MASTER_IP=you_master_ip

sbin/start-all.sh

启动

jps查看，有Worker

测试，统计README.md文件中包含Spark的行数

打开http://nlp:4040/

上传一个文件hadoop fs -put /spark/README.md /user/root/

bin/spark-shell进入spark shell

sc即SparkContext实例，可直接使用

val file = sc.textFile("hdfs://nlp:9008/user/root/README.md")

val sparks = file.filter(line => line.contains("Spark"))

#sparks.cache //使用spark缓存，速度会得到巨大提升

sparks.count