![](https://img-blog.csdnimg.cn/2021042314072994.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark官网翻译
文章平均质量分 84
spark
奈何@
Instead of admitting that the truth of "let it be" is to readily accept any kind of outcome after making full efforts rather than to do nothing at the every beginning. We would rather take "Let it be" as an excuse to evade the path of throns in our life.
展开
-
Spark-Spark Streaming(4)-- 部署、监控
如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢原创 2021-05-10 14:32:58 · 407 阅读 · 0 评论 -
Spark-Spark Streaming(3)-- 缓存、检查点、广播变量
如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢目录1、Caching / Persistence缓存/持久化2、Checkpointing检查点2.1、When to enable Checkpointing何时启用检查点2.2、How to configure Checkpointing如何配置检查点3、Accumulators, Broadcast Variables, and Check...原创 2021-05-10 00:25:54 · 276 阅读 · 0 评论 -
Spark-Spark Streaming(2)-- 输入、转换、输出
如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢上一节我们通过简单的一个案列认识了SparkStreaming,接下来,我们将超越简单的示例,详细介绍 Spark Streaming 的基本知识。基本概念1、链接与 Spark 类似,Spark Streaming 可以通过 Maven Central 获得。要编写自己的 Spark Streaming 程序,您必须向 SBT 或 Maven 项目添加以下.原创 2021-05-08 14:15:18 · 574 阅读 · 0 评论 -
Spark-Spark Streaming(1)-- 入门案例
如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢如果觉得不错,请给博主点个赞呗!!! 谢谢目录1、概览2、一个简单的例子1、概览 Spark Streaming 是核心 Spark API 的扩展,它支持对实时数据流进行可伸缩的、高吞吐量的、容错的流处理。数据可以从 Kafka、 Kinesis 或 TCP sockets 等许多来源获取,也可以使用 map、 reduce、 join 和 window 等高级函数表示的复杂算法进行处理。...原创 2021-05-08 10:54:27 · 297 阅读 · 3 评论 -
Spark中文文档翻译3.1.1-Spark RDD Guide--弹性分布式数据集(RDDs)
如果觉得内容不错,别忘记一键三连哦!!!原创 2021-04-22 18:11:46 · 319 阅读 · 0 评论 -
Spark中文文档翻译3.1.1-Spark RDD Guide--概览和初始化
如果觉得内容不错,别忘记一键三连哦!!!原创 2021-04-22 16:21:59 · 289 阅读 · 0 评论 -
Spark中文文档翻译3.1.1-Spark SQL Guide--dataSource
Data SourcesSpark SQL支持通过DataFrame接口在各种数据源上运行。数据帧可以使用关系转换进行操作,也可以用来创建临时视图。将数据帧注册为临时视图允许对其数据运行SQL查询。本节介绍使用Spark数据源加载和保存数据的一般方法,然后介绍内置数据源可用的特定选项。Generic Load/Save Functions在最简单的形式中,默认的数据源(parquet,除非由spark.sql.sources.default配置)将用于所有操作。val usersDF = spark原创 2021-04-22 15:52:21 · 529 阅读 · 0 评论 -
Spark中文文档翻译3.1.1-Spark SQL Guide--Getting Started
Getting Started原创 2021-04-21 17:53:38 · 378 阅读 · 0 评论 -
Spark中文文档翻译3.1.1-Spark SQL Guide--Spark SQL, DataFrames and Datasets Guide
Spark SQL, DataFrames and Datasets GuideSpark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部,Spark SQL使用这些额外的信息来执行额外的优化。 与Spark SQL交互的方法有多种,包括SQL和Dataset API。 计算结果时,将使用相同的执行引擎,而与要用来表达计算的API /语言无关。 这种统一意味着开发人员可以轻原创 2021-04-21 16:37:11 · 192 阅读 · 0 评论 -
CDH-5.14.0版本编译Spark 2.2.0源码
针对CDH-5.14.0版本编译Spark 2.2.0源码,步骤如下:1、安装JDK及设置环境变量2、安装MAVEN及设置仓库位置 2.1、仓库压缩包解压 2.2、设置仓库位置 $MAVEN_HOME/conf/settings.xml 增加内容: <localRepository>/opt/modules/mvnrepository</localRepository>3、下载Spark源码及配置 ...原创 2021-04-12 11:35:16 · 156 阅读 · 0 评论