Spark伪分布式安装（不依赖hadoop）

上传包：

百度分享安装包地址：http://pan.baidu.com/s/1dD4BcGT 点击打开链接

解压 并重命名：

 

进入spark100目录：

修改配置：

 

Cd conf

配置单击节点，故只需要写本机的hostname就可以了。

重命名spark-env.sh.template 为 spark-env.sh

增加配置项：

export SPARK_MASTER_IP=icity1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g

如图所示：

 

 

 

启动：

 

出错：

 

。bash_profile中有配置java_home：

 

感觉其没有自动引用到，故

最后通过在spark_env.sh中增加

解决了错误。

 重新启动：

 

 

监控页面效果：

 

 

 

进入spark-shell：

 

 

 

 

选用了外部文件：

区别于hdfs的读取方式：

 

 

 

退出spark-shell：exit