Spark基础实验

博主的spark建立在yarn上，已经提前安装好了hadoop2.7.3
记得联网后再进行实验，否则可能报错如下：
pyspark spark-shell无法指定被请求的地址: Service ‘sparkDriver’ failed after 16 retries (on a random free port)
进入hadoop下的sbin文件夹，终端输入命令

./start-all.sh

随即浏览器打开localhost：8088可查看网页观测情况如下：
来到spark的sbin运行命令

./start-all.sh

浏览器打开localhost：8080可查看网页观测情况如下：

• 运行Spark自带的示例程序

cd /usr/Spark/spark/
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

结果如下：

• spark-shell

1. 进入scala命令行模式

cd /usr/Spark/spark/
./bin/spark-shell 

2. 输入相关命令进行字符统计或简单计算实验

scala> 1+2+3+4
res0: Int = 10
scala> 9*2
res2: Int = 18

scala> val textFile = sc.textFileFile("file:///usr/Spark/spark/READEME.md")
scala> textFile.count()
res4: Long = 109
scala> val linesCountWithSpark=textFile.filter(line=>line.contains("Spark")).count()
linesCountWithSpark: Long = 20

3. 在生产环境中部署需要开发独立的Spark应用程序编写应用程序代码。

编译打包：
scala代码：sbt（Simple Build Tool）
Java代码：Maven
Python代码：无需打包
提交Spark中运行：

/usr/Spark/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.12.10/simple-project_2.12.10.jar

4. 退出Spark Shell

scala> :quit

• Pyspark的使用
  简书：大数据入门与实战-PySpark的使用教程

更多详情可参见 林子雨老师 的博文：
Spark安装和编程实践（Spark2.4.0）