Spark知识体系

欢迎进入陶笔记博文

什么是spark？

中文官网文档详情：http://spark.apachecn.org/

• Apache Spark 是一个快速的，多用途的集群计算系统。
• 它提供了 Java，Scala，Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎。
• 它还支持一组丰富的高级工具，包括使用 SQL 处理结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX，以及 Spark Streaming。
• spark是基于内存的，分布式的（hadoop）大数据计算引擎。

spark整体脉络

• spark-core
• spark-sql
• spark-streaming

spark-core

1.最核心最基础的阶段
2.spark的集群的安装
3.程序会提交到集群（如何提交）
<1> spark-shell方式：./bin/spark-shell --master local【2】

• –master针对分布式集群的master URL
• local[N]为本地模式，N代表有多少个线程
  <2> 集群部署模式
• Standalone Deploy Mode：在私有集群上部署 Spark 最简单的方式
• Apache Mesos：资源调度平台
• Hadoop YARN：统一资源调度
• local：本地模式
  RDD：弹性分布式数据集（弹性：容错性，数据丢失后可以根据血统来容错）
  spark运行机制
  spark高级特性：宽窄依赖，缓存，持久化，广播变量，累加器

搭建集群（spark）-框架

框架的使用套路：
下载
上传
解压
配置文件
启动
使用

集群机器的准备工作

准备四台机器：
Linux01:192.168.11.21
(配置映射)
NAT(网关)：192.168.11.22
windows的本地ip：192.168.11.1
Master:Linux01
Worker:Linux02 Linux03 Linux04
问master和worker能不能部署在同一台机器上
答：可以的

集群的安装

JDK 1.8
Scala （不需要装？Spark自带scala jar包）

防火墙
验证：service iptables status
关闭：service iptables stop (临时关闭)
Chkconfig iptables off((永久关闭)
免密登录：
只需要 主节点能到从节点
映射关系：
目的：机器比较多 直接主机名就可以
上传并解压
解压：tar -zxvf +包

Bin:spark的一些命令
Sbin:集群启停的命令
Conf:配置文件
修改配置文件 vim spark_env.sh

有了这些配置，我们就能够启动集群了
配置slaves
目的：启动spark的时候能够批量启动