Spark深入解析（三）：Spark基础解析之Spark环境搭建（不同模式）

需要资源包，可私信博主！
以下代码均是在虚拟机中运行，并未在IDEA运行

Local本地模式

安装

• 下载Spark安装包
• 下载地址：http://spark.apache.org/downloads.html
• 解压重命名
  cd /export/servers
  tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz
  mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark
• 注意：
  如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可
  chown -R root /export/servers/spark
  chgrp -R root /export/servers/spark
• 解压目录说明：
  bin 可执行脚本
  conf 配置文件
  data 示例程序使用数据
  examples 示例程序
  jars 依赖 jar 包
  python pythonAPI
  R R 语言 API
  sbin 集群管理命令
  yarn 整合yarn需要的东西

启动spark-shell

• 开箱即用(解压完毕后即可使用，无需配置其他)
  直接启动bin目录下的spark-shell
  ./spark-shell

• spark-shell说明
  1.直接使用./spark-shell
  表示使用local 模式启动，在本机启动一个SparkSubmit进程

  2.还可指定参数 --master，如：
  spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务
  spark-shell --master local[*] 表示使用当前机器上所有可用的资源

  3.不携带参数默认就是
  spark-shell --master local[*]

  4.后续还可以使用–master指定集群地址，表示把任务提交到集群上运行，如
  ./spark-shell --master spark://node01:7077

  5.退出spark-shell
  使用 :quit

初体验-读取本地文件

• 准备数据

vim /tmp/words.txt 
添加以下数据：
hello me you her 
hello you her
hello her 
hello

• 代码实现

//设置读取路径
val textFile = sc.textFile("file:///root/words.txt")
//处理数据
val counts = textFile.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
//收集结果
counts.collect
//结果数据
Array[(String, Int)] = Array((you,2), (hello,4), (me,1), (her,3))

初体验-读取HDFS文件

• 准备数据

上传文件到hdfs
hadoop fs -put /tmp/words.txt /wordcount/input/words.txt
目录如果不存在可以创建
hadoop fs -mkdir -p /wordcount/input
结束后可以删除测试文件夹
hadoop fs -rm -r /wordcount

• 代码实现

//读取文件
val textFile = sc.textFile("hdfs://node01:8020/wordcount/input/words.txt")
//处理数据
val counts = textFile.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
//手机结果，将处理后的结果数据存储到指定目录
counts.