Spark 之 快速入门指南 - Spark安装与基础使用

最新推荐文章于 2022-12-22 09:56:17 发布
最新推荐文章于 2022-12-22 09:56:17 发布
阅读量416 收藏 1
点赞数
分类专栏： spark 文章标签： spark

转自：http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/


Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spark shell 、RDD、Spark SQL、Spark Streaming 等的基本使用。

子雨大数据之Spark入门教程
欢迎点击这里访问子雨大数据之Spark入门教程

本教程的具体运行环境如下：

  • CentOS 6.4
  • Spark 1.6
  • Hadoop 2.6.0
  • Java JDK 1.7
  • Scala 2.10.5

准备工作

运行 Spark 需要 Java JDK 1.7，CentOS 6.x 系统默认只安装了 Java JRE，还需要安装 Java JDK，并配置好 JAVA_HOME 变量。此外，Spark 会用到 HDFS 与 YARN，因此请先安装 Hadoop，具体请浏览Hadoop安装教程，在此就不再复述。

安装 Spark

待 Hadoop 安装好之后，我们再开始安装 Spark。

官网下载地址：http://spark.apache.org/downloads.html

本教程选择的是 Spark 1.6.0 版本，选择 package type 为 "Pre-build with user-provided Hadoop [can use with most Hadoop distributions]"，再点击给出的下载连接 http://www.apache.org/dyn/closer.lua/spark/spark-1.6.0/spark-1.6.0-bin-without-hadoop.tgz 就可以下载了，如下图所示：

从官网下载 Spark从官网下载 Spark

Package type

  • Source code: Spark 源码，需要编译才能使用，另外 Scala 2.11 需要使用源码编译才可使用
  • Pre-build with user-provided Hadoop: "Hadoop free" 版，可应用到任意 Hadoop 版本
  • Pre-build for Hadoop 2.6 and later: 基于 Hadoop 2.6 的预先编译版，需要与本机安装的 Hadoop 版本对应。可选的还有 Hadoop 2.4 and later、Hadoop 2.3、Hadoop 1.x，以及 CDH 4。

为方便，本教程选择的是 Pre-build with user-provided Hadoop，简单配置后可应用到任意 Hadoop 版本。

下载后，执行如下命令进行安装：

  
  
  1. sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/
  2. cd /usr/local
  3. sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark
  4. sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名
Shell 命令

安装后，需要在 ./conf/spark-env.sh 中修改 Spark 的 Classpath，执行如下命令拷贝一个配置文件：

  
  
  1. cd /usr/local/spark
  2. cp ./conf/spark-env.sh.template ./conf/spark-env.sh
Shell 命令

编辑 ./conf/spark-env.sh（vim ./conf/spark-env.sh） ，在最后面加上如下一行：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

保存后，Spark 就可以启动、运行了。

运行 Spark 示例

注意，必须安装 Hadoop 才能使用 Spark，但如果使用 Spark 过程中没用到 HDFS，不启动 Hadoop 也是可以的。此外，接下来教程中出现的命令、目录，若无说明，则一般以 Spark 的安装目录（/usr/local/spark）为当前路径，请注意区分。

在 ./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：

  
  
  1. cd /usr/local/spark
  2. ./bin/run-example SparkPi
Shell 命令

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）：

  
  
  1. ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
Shell 命令

过滤后的运行结果如下图所示，可以得到 π 的 5 位小数近似值 ：

从官网下载 Spark从官网下载 Spark

Python 版本的 SparkPi 则需要通过 spark-submit 运行：

  
  
  1. ./bin/spark-submit examples/src/main/python/pi.py
Shell 命令

通过 Spark Shell 进行交互分析

Spark shell 提供了简单的方式来学习 API，也提供了交互的方式来分析数据。Spark Shell 支持 Scala 和 Python，本教程选择使用 Scala 来进行介绍。

Scala

Scala 是一门现代的多范式编程语言，志在以简练、优雅及类型安全的方式来表达常用编程模式。它平滑地集成了面向对象和函数语言的特性。Scala 运行于 Java 平台（JVM，Java 虚拟机），并兼容现有的 Java 程序。

Scala 是 Spark 的主要编程语言，如果仅仅是写 Spark 应用，并非一定要用 Scala，用 Java、Python 都是可以的。使用 Scala 的优势是开发效率更高，代码更精简，并且可以通过 Spark Shell 进行交互式实时查询，方便排查问题。

执行如下命令启动 Spark Shell：

  
  
  1. ./bin/spark-shell
Shell 命令

启动成功后如图所示，会有 "scala >" 的命令提示符。

成功启动Spark Shell成功启动Spark Shell

基础操作

Spark 的主要抽象是分布式的元素集合（distributed collection of items），称为RDD（Resilient Distributed Dataset，弹性分布式数据集），它可被分发到集群各个节点上，进行并行操作。RDDs 可以通过 Hadoop InputFormats 创建（如 HDFS），或者从其他 RDDs 转化而来。

我们从 ./README 文件新建一个 RDD，代码如下（本文出现的 Spark 交互式命令代码中，与位于同一行的注释内容为该命令的说明，命令之后的注释内容表示交互式输出结果）：

  
  
  1. val textFile = sc.textFile("file:///usr/local/spark/README.md")
  2. // textFile: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:27
scala

代码中通过 "file://" 前缀指定读取本地文件。Spark shell 默认是读取 HDFS 中的文件，需要先上传文件到 HDFS 中，否则会有“org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/hadoop/README.md”的错误。

上述命令的输出结果如下图所示：

新建RDD新建RDD

RDDs 支持两种类型的操作

  • actions: 在数据集上运行计算后返回值
  • transformations: 转换, 从现有数据集创建一个新的数据集

下面我们就来演示 count() 和 first() 操作：

  
  
  1. textFile.count()  // RDD 中的 item 数量，对于文本文件，就是总行数
  2. // res0: Long = 95
  3.  
  4. textFile.first() // RDD 中的第一个 item，对于文本文件，就是第一行内容
  5. // res1: String = # Apache Spark
scala

接着演示 transformation，通过 filter transformation 来返回一个新的 RDD，代码如下：

  
  
  1. val linesWithSpark = textFile.filter(line => line.contains("Spark"))   // 筛选出包含 Spark 的行
  2.  
  3. linesWithSpark.count()       // 统计行数
  4. // res4: Long = 17
scala

可以看到一共有 17 行内容包含 Spark，这与通过 Linux 命令 cat ./README.md | grep "Spark" -c 得到的结果一致，说明是正确的。action 和 transformation 可以用链式操作的方式结合使用，使代码更为简洁：

  
  
  1. textFile.filter(line => line.contains("Spark")).count() // 统计包含 Spark 的行数
  2. // res4: Long = 17
scala

RDD的更多操作

RDD 的 actions 和 transformations 可用在更复杂的计算中，例如通过如下代码可以找到包含单词最多的那一行内容共有几个单词：

  
  
  1. textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
  2. // res5: Int = 14
scala

代码首先将每一行内容 map 为一个整数，这将创建一个新的 RDD，并在这个 RDD 中执行 reduce 操作，找到最大的数。map()、reduce() 中的参数是 Scala 的函数字面量（function literals，也称为闭包 closures），并且可以使用语言特征或 Scala/Java 的库。例如，通过使用 Math.max() 函数（需要导入 Java 的 Math 库），可以使上述代码更容易理解：

  
  
  1. import java.lang.Math
  2.  
  3. textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))
  4. // res6: Int = 14
scala

Hadoop MapReduce 是常见的数据流模式，在 Spark 中同样可以实现（下面这个例子也就是 WordCount）：

  
  
  1. val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)   // 实现单词统计
  2. // wordCounts: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[4] at reduceByKey at <console>:29
  3.  
  4. wordCounts.collect()    // 输出单词统计结果
  5. // res7: Array[(String, Int)] = Array((package,1), (For,2), (Programs,1), (processing.,1), (Because,1), (The,1)...)
scala

缓存

Spark 支持在集群范围内将数据集缓存至每一个节点的内存中，可避免数据传输，当数据需要重复访问时这个特征非常有用，例如查询体积小的“热”数据集，或是运行如 PageRank 的迭代算法。调用 cache()，就可以将数据集进行缓存：

  
  
  1. linesWithSpark.cache()
scala

Spark SQL 和 DataFrames

Spark SQL 是 Spark 内嵌的模块，用于结构化数据。在 Spark 程序中可以使用 SQL 查询语句或 DataFrame API。DataFrames 和 SQL 提供了通用的方式来连接多种数据源，支持 Hive、Avro、Parquet、ORC、JSON、和 JDBC，并且可以在多种数据源之间执行 join 操作。

下面仍在 Spark shell 中演示一下 Spark SQL 的基本操作，该部分内容主要参考了 Spark SQL、DataFrames 和 Datasets 指南。

Spark SQL 的功能是通过 SQLContext 类来使用的，而创建 SQLContext 是通过 SparkContext 创建的。在 Spark shell 启动时，输出日志的最后有这么几条信息

16/01/16 13:25:41 INFO repl.SparkILoop: Created spark context..
Spark context available as sc.
16/01/16 13:25:41 INFO repl.SparkILoop: Created sql context..
SQL context available as sqlContext.

这些信息表明 SparkContent 和 SQLContext 都已经初始化好了，可通过对应的 sc、sqlContext 变量直接进行访问。

使用 SQLContext 可以从现有的 RDD 或数据源创建 DataFrames。作为示例，我们通过 Spark 提供的 JSON 格式的数据源文件 ./examples/src/main/resources/people.json 来进行演示，该数据源内容如下：

  
  
  1. {"name":"Michael"}
  2. {"name":"Andy", "age":30}
  3. {"name":"Justin", "age":19}
json

执行如下命令导入数据源，并输出内容：

  
  
  1. val df = sqlContext.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")
  2. // df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
  3.  
  4. df.show()     // 输出数据源内容
  5. // +----+-------+
  6. // | age|   name|
  7. // +----+-------+
  8. // |null|Michael|
  9. // |  30|   Andy|
  10. // |  19| Justin|
  11. // +----+-------+
scala

接着，我们来演示 DataFrames 处理结构化数据的一些基本操作：

  
  
  1. df.select("name").show()    // 只显示 "name" 列
  2. // +-------+
  3. // |   name|
  4. // +-------+
  5. // |Michael|
  6. // |   Andy|
  7. // | Justin|
  8. // +-------+
  9.  
  10. df.select(df("name"), df("age") + 1).show()   // 将 "age" 加 1
  11. // +-------+---------+
  12. // |   name|(age + 1)|
  13. // +-------+---------+
  14. // |Michael|     null|
  15. // |   Andy|       31|
  16. // | Justin|       20|
  17. // +-------+---------+
  18.  
  19. df.filter(df("age") > 21).show()     # 条件语句
  20. // +---+----+
  21. // |age|name|
  22. // +---+----+
  23. // | 30|Andy|
  24. // +---+----+
  25.  
  26. df.groupBy("age").count().show()   // groupBy 操作
  27. // +----+-----+
  28. // | age|count|
  29. // +----+-----+
  30. // |null|    1|
  31. // |  19|    1|
  32. // |  30|    1|
  33. // +----+-----+
scala

当然，我们也可以使用 SQL 语句来进行操作：

  
  
  1. df.registerTempTable("people")     // 将 DataFrame 注册为临时表 people
  2. val result = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")  // 执行 SQL 查询
  3. result.show()        // 输出结果
  4. // +------+---+
  5. // |  name|age|
  6. // +------+---+
  7. // |Justin| 19|
  8. // +------+---+
scala

更多的功能可以查看完整的 DataFrames API ，此外 DataFrames 也包含了丰富的 DataFrames Function 可用于字符串处理、日期计算、数学计算等。

Spark Streaming

流计算除了使用 Storm 框架，使用 Spark Streaming 也是一个很好的选择。基于 Spark Streaming，可以方便地构建可拓展、高容错的流计算应用程序。Spark Streaming 使用 Spark API 进行流计算，这意味着在 Spark 上进行流处理与批处理的方式一样。因此，你可以复用批处理的代码，使用 Spark Streaming 构建强大的交互式应用程序，而不仅仅是用于分析数据。

下面以一个简单的 Spark Streaming 示例（基于流的单词统计）来演示一下 Spark Streaming：本地服务器通过 TCP 接收文本数据，实时输出单词统计结果。该部分内容主要参考了 Spark Streaming 编程指南。

运行该示例需要 Netcat（在网络上通过 TCP 或 UDP 读写数据），CentOS 6.x 系统中默认没有安装，经过测试，如果通过 yum 直接安装，运行时会有 "nc: Protocol not available" 的错误，需要下载较低版本的 nc 才能正常使用。我们选择 Netcat 0.6.1 版本，在终端中运行如下命令进行安装：

  
  
  1. wget http://downloads.sourceforge.net/project/netcat/netcat/0.6.1/netcat-0.6.1-1.i386.rpm -O ~/netcat-0.6.1-1.i386.rpm     # 下载
  2. sudo rpm -iUv ~/netcat-0.6.1-1.i386.rpm     # 安装
Shell 命令

安装好 NetCat 之后，使用如下命令建立本地数据服务，监听 TCP 端口 9999：

  
  
  1. # 记为终端 1
  2. nc -l -p 9999
Shell 命令

启动后，该端口就被占用了，需要开启另一个终端运行示例程序，执行如下命令：

  
  
  1. # 需要另外开启一个终端，记为终端 2，然后运行如下命令
  2. /usr/local/spark/bin/run-example streaming.NetworkWordCount localhost 9999
Shell 命令

接着在终端 1 中输入文本，在终端 2 中就可以实时看到单词统计结果了。

Spark Streaming 的内容较多，本教程就简单介绍到这，更详细的内容可查看官网教程。最后需要关掉终端 2，并按 ctrl+c 退出 终端 1 的Netcat。

独立应用程序（Self-Contained Applications）

接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。

应用程序代码

在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录：

  
  
  1. cd ~           # 进入用户主文件夹
  2. mkdir ./sparkapp        # 创建应用程序根目录
  3. mkdir -p ./sparkapp/src/main/scala     # 创建所需的文件夹结构
Shell 命令

在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件（vim ./sparkapp/src/main/scala/SimpleApp.scala），添加代码如下：

  
  
  1. /* SimpleApp.scala */
  2. import org.apache.spark.SparkContext
  3. import org.apache.spark.SparkContext._
  4. import org.apache.spark.SparkConf
  5.  
  6. object SimpleApp {
  7.   def main(args: Array[String]) {
  8.     val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
  9.     val conf = new SparkConf().setAppName("Simple Application")
  10.     val sc = new SparkContext(conf)
  11.     val logData = sc.textFile(logFile, 2).cache()
  12.     val numAs = logData.filter(line => line.contains("a")).count()
  13.     val numBs = logData.filter(line => line.contains("b")).count()
  14.     println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  15.   }
  16. }
scala

该程序计算 /usr/local/spark/README 文件中包含 "a" 的行数 和包含 "b" 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。不同于 Spark shell，独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext，SparkContext 的参数 SparkConf 包含了应用程序的信息。

该程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。在 ./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系：

name := "Simple Project"

version := "1.0"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0"

文件 simple.sbt 需要指明 Spark 和 Scala 的版本。启动 Spark shell 的过程中，当输出到 Spark 的符号图形时，可以看到相关的版本信息。

查看 Spark 和 Scala 的版本信息查看 Spark 和 Scala 的版本信息

安装 sbt

Spark 中没有自带 sbt，需要手动安装 sbt，我们选择安装在 /usr/local/sbt 中：

  
  
  1. sudo mkdir /usr/local/sbt
  2. sudo chown -R hadoop /usr/local/sbt      # 此处的 hadoop 为你的用户名
  3. cd /usr/local/sbt
Shell 命令

经笔者测试，按官网教程安装 sbt 0.13.9 后，使用时可能存在网络问题，无法下载依赖包，导致 sbt 无法正常使用，需要进行一定的修改。为方便，请使用笔者修改后的版本，下载地址：http://pan.baidu.com/s/1eRyFddw。

下载后，执行如下命令拷贝至 /usr/local/sbt 中：

  
  
  1. cp ~/下载/sbt-launch.jar .
Shell 命令

接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：

  
  
  1. #!/bin/bash
  2. SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
  3. java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
Shell 命令

保存后，为 ./sbt 脚本增加可执行权限：

  
  
  1. chmod u+x ./sbt
Shell 命令

最后检验 sbt 是否可用（首次运行会处于 “Getting org.scala-sbt sbt 0.13.9 ...” 的下载状态，请耐心等待。笔者等待了 7 分钟才出现第一条下载提示）：

  
  
  1. ./sbt sbt-version
Shell 命令

下载过程中可能会类似 “Server access Error: java.security.ProviderException: java.security.KeyException url=https://jcenter.bintray.com/org/scala-sbt/precompiled-2_9_3/0.13.9/precompiled-2_9_3-0.13.9.jar” 的错误，可以忽略。可再执行一次 ./sbt sbt-version，只要能得到如下图的版本信息就没问题：

验证 sbt 是否可用验证 sbt 是否可用

如果由于网络问题无法下载依赖，导致 sbt 无法正确运行的话，可以下载笔者提供的离线依赖包 sbt-0.13.9-repo.tar.gz 到本地中（依赖包的本地位置为 ~/.sbt 和 ~/.ivy2，检查依赖关系时，首先检查本地，本地未找到，再从网络中下载），下载地址：http://pan.baidu.com/s/1sjTQ8yD。下载后，执行如下命令解压依赖包：

  
  
  1. tar -zxf ~/下载/sbt-0.13.9-local-repo.tar.gz ~
Shell 命令

通过这个方式，一般可以解决依赖包缺失的问题（读者提供的依赖包仅适合于 Spark 1.6 版本，不同版本依赖关系不一样）。

如果对 sbt 存在的网络问题以及如何解决感兴趣，请点击下方查看。

点击查看：解决 sbt 无法下载依赖包的问题

使用 sbt 打包 Scala 程序

为保证 sbt 能正常运行，先执行如下命令检查整个应用程序的文件结构：

  
  
  1. cd ~/sparkapp
  2. find .
Shell 命令

文件结构应如下图所示：

SimpleApp的文件结构SimpleApp的文件结构

接着，我们就可以通过如下代码将整个应用程序打包成 JAR（首次运行同样需要下载依赖包，如果这边遇到网络问题无法成功，也请下载上述安装 sbt 提到的离线依赖包 sbt-0.13.9-repo.tar.gz ）：

  
  
  1. /usr/local/sbt/sbt package
Shell 命令

打包成功的话，会输出如下图内容：

SimpleApp的文件结构SimpleApp的文件结构

生成的 jar 包的位置为 ~/sparkapp/target/scala-2.10/simple-project_2.10-1.0.jar。

通过 spark-submit 运行程序

最后，我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：

  
  
  1. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.10/simple-project_2.10-1.0.jar
  2. # 输出信息太多，可以通过如下命令过滤直接查看结果
  3. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.10/simple-project_2.10-1.0.jar 2>&1 | grep "Lines with a:"
Shell 命令

最终得到的结果如下：

Lines with a: 58, Lines with b: 26

自此，你就完成了你的第一个 Spark 应用程序了。

进阶学习

Spark 官网提供了完善的学习文档（许多技术文档都只有英文版本，因此学会查看英文文档也是学习大数据技术的必备技能）：


blazing fire !!!
关注
专栏目录
spark与sparkStreaming经典视频教程
01-10
spark与sparkStreaming经典视频教程，学习spark和sparkStreaming非常经典得课程，提供代码，环境，本人之前购买得教程，分享给大家，同时欢迎大家和我一起交流
spark实践-1
leeforrest的博客
05-12 12万+
0. lib pyspark, jupyter, numpy, pandas, matplotlib 1. 特征提取 port numpy as np def extract_features(field, categoryMap,featureEnd): categoryIdx = categoryMap[field[3]] categoryFeatures = np.zeros...
大数据Spark实战视频教程
11-10
大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
国内外优秀开源源码网站
spark的专栏
05-10 4万+
不管你是初学一门计算机语言或技术，还是想学习别人的经验和创意。做为一个开发人员，都会经常需要到搜索一些代码，下面是7个地方可以帮助你快速寻找到你需要的代码。 GitHub Code Search http://github.com/search 热门的开源代码库和和版本控制服务。 GitHub 在最近启动了Code Search .即使它才启动不久，但凭借GitHub 的受欢迎度和成千上万的
讲spark比较好的网站
热门推荐
黄道婆的专栏
12-24 16万+
https://www.cnblogs.com/jcchoiling/ http://spark.coolplayer.net/
Spark快速入门指南 – Spark安装与基础使用
04-22
Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比
编程指南快速入门 - Spark 2.4.0文档.pdf
12-02
### 编程指南快速入门 - Spark 2.4.0文档知识点详解 #### 一、概览 **Spark 2.4.0**是Apache Spark的一个重要版本，它提供了多种功能改进和性能优化，适用于大数据处理场景。本文档旨在帮助初学者快速了解Spark的...
Spark入门基础--简介及环境搭建
06-08
**Spark入门基础——简介及环境搭建** Spark是大数据处理领域中的一个重要工具，它以其高效、易用和灵活性著称。本节将深入介绍Spark的基本概念，以及如何在本地或集群环境中进行Spark的安装和配置，为初学者提供一...
Spark+快速入门共7页.pdf.zip
11-25
【Spark快速入门】指南 Spark，作为大数据处理领域的重要框架，是Apache软件基金会下的一个开源项目，由加州大学伯克利分校AMPLab开发并维护。它以高效、易用和可扩展性著称，尤其在大规模数据处理和分析中表现出色...
Apache-Spark-Quick-Start-Guide:Packt发布的Apache Spark快速入门指南
05-27
Apache Spark快速入门指南 这是Packt发布的的代码库。 快速学习使用Apache Spark编写高效的大数据应用程序的技巧 这本书是关于什么的？ Apache Spark是一个灵活的框架，允许处理批处理和实时数据。 它的统一引擎...
Spark项目实战视频
04-27
Spark项目实战视频，内容涵盖scala，kafka，sparkML,mongodb等相关内容
Spark 2.0.2 Spark 2.2 中文文档 本资源为网页，不是PDF
12-07
本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 Shell 的使用 弹性分布式数据集（RDDS） 并行集合 外部数据集 RDD 操作 RDD 持久化 共享变量 Broadcast Variables （广播变量） Accumulators （累加器） 部署应用到集群中 使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前的应用程序迁移 下一步 Spark Streaming Spark Streaming 概述 一个简单的示例 基本概念 依赖 初始化 StreamingContext Discretized Streams（DStreams）（离散化流） Input DStreams 和 Receivers DStreams 上的 Transformations（转换） DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作 缓存 / 持久化 CheckPointing 累加器和广播变量 应用程序部署 监控应用程序 性能 降低批处理的时间 设置合理的批处理间隔 内存 容错语义 迁移指南（从 0.9.1 或者更低版本至 1.x 版本） 快速跳转 Kafka 集成指南 DataFrames，Datasets 和 SQL Spark SQL 概述 SQL Datasets 和 DataFrames Spark SQL 入门指南 起始点 : SparkSession 创建 DataFrame 无类型 Dataset 操作（aka DataFrame 操作） 以编程的方式运行 SQL 查询 创建 Dataset RDD 的互操作性 数据源 通用的 Load/Save 函数 Parquet文件 JSON Datasets Hive 表 JDBC 连接其它数据库 故障排除 性能调优 缓存数据到内存 其它配置选项 分布式 SQL引擎 运行 Thrift JDBC/ODBC 运行 Spark SQL CLI 迁移指南 从 Spark SQL 1.6 升级到 2.0 从 Spark SQL 1.5 升级到 1.6 从 Spark SQL 1.4 升级到 1.5 从 Spark SQL 1.3 升级到 1.4 从 Spark SQL 1.0~1.2 升级到 1.3 兼容 Apache Hive 参考 数据类型 NaN 语义 Structured Streaming MLlib（机器学习） 机器学习库（MLlib）指南 ML Pipelines（ML管道） Extracting, transforming and selecting features（特征的提取，转换和选择） Classification and regression（分类和回归） Clustering（聚类） Collaborative Filtering（协同过滤） ML Tuning: model selection and hyperparameter tuning（ML调优：模型选择和超参数调整） Advanced topics（高级主题） MLlib：基于RDD的API Data Types - RDD-based API（数据类型） Basic Statistics - RDD-based API（基本统计） Classification and Regression - RDD-based API（分类和回归） Collaborative Filtering - RDD-based API（协同过滤） Clustering - RDD-based API（聚类 - 基于RDD的API） Dimensionality Reduction - RDD-based API（降维） Feature Extraction and Transformation - RDD-based API（特征的提取和转换） Frequent Pattern Mining - RDD-based API（频繁模式挖掘） Evaluation metrics - RDD-based API（评估指标） PMML model export - RDD-based API（PMML模型导出） Optimization - RDD-based API（最） GraphX（图形处理） Spark R 部署 集群模式概述 提交应用 Spark Standalone 模式 Spark on Mesos Spark on YARN Spark on YARN 上运行 准备 Spark on YARN 配置 调试应用 Spark 属性 重要提示 在一个安全的集群中运行 用 Apache Oozie 来运行应用程序 Kerberos 故障排查 Spark 配置 Spark 监控 指南 作业调度 Spark 安全 硬件配置 构建 Spark
免安装免配置 还免费的Spark 集群 --Databrickes Spark Clould
机器学习算法
04-16 5607
http://ihoge.cn/2018/Databrickes.html 摘要：本文带你畅游Databrickes Spark Clould云服务。小白迅速上手大数据Spark开发环境，从此告别集群Bug的烦恼，彻底解放物理机负担让你随时随地想Run就Run��。 目录： Databrickes是个啥？ Databrickes注册 Databrickes快速入门 其他进阶神操作 ...
大数据的一些入门教程
WANGzuo13的专栏
11-10 1000
推荐大家加微信公众号：DT_Spark 这个微信号每天都会更新关于大数据的一些视频 非常的好 1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq​2，《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu​3，《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1
spark shell学习笔记
weixin_33727510的博客
07-30 466
http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html
Apache Spark 练习五：使用Spark进行YouTube视频网站指标分析
最新发布
荔枝的FM
12-22 3万+
本章所分析的数据来自于Simon Fraser大学公开的YouTube视频网站的视频数据。数据包含两张表。第一张为视频表，记录了研究人员爬取的视频的元数据信息，具体包括以下字段：
技术网站官网链接
Chrishyw的博客
12-04 3万+
各类技术软件网站整理
Spark大型项目实战、Elasticsearch完整视频（百度网盘链接）
lukabruce的博客
02-26 3万+
Elasticsearch顶尖高手系列课程（基础篇+高手篇） （从零开始精通分布式搜索ElasticSearch） #有效期 2019.11.22-29 链接：https://pan.baidu.com/s/1cvwmF9AGuGbW0klAhfSP4g 提取码：mgrk 亿级流量电商详情页系统实战（完整版）：缓存架构+高可用服务架构+微服务架构 （全网唯一讲亿级流量的课程，而且有落地...
Spark开发工程师（含项目）
02-21
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值