![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
大数据计算框架
再难也要坚持
毕业于山东科技大学,现是一名搬砖小将。再难也要坚持,加油,奥利给!
展开
-
Spark基础知识解析
Spark基础知识解析第1章 Spark概述1.1 什么是Spark?1.2 Spark内置模块1.3 Spark特点第2章 Spark运行模式第3章 案例实操 第1章 Spark概述 1.1 什么是Spark? 定义 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 历史 2009年诞生于加州大学伯克利分校AMPLab,项目采用Scala编写。 2010年开源。 2013年6月...原创 2020-03-13 16:46:17 · 563 阅读 · 0 评论 -
第2章 RDD编程
RDD编程2.1 编程模型2.2 RDD的创建2.2.1 从集合中创建2.2.2 由外部存储系统的数据集创建2.2.3 从其他RDD创建2.3 RDD的转换(面试开发重点)2.3.1 Value类型2.3.1.1 map(func)案例2.3.1.2 mapPartitions(func) 案例2.3.1.3 mapPartitionsWithIndex(func) 案例2.3.1.4 flatM...原创 2020-03-12 15:57:35 · 438 阅读 · 0 评论 -
第1章 Spark RDD概述
RDD概述 什么是RDD? RDD有什么特点原创 2020-03-12 15:26:31 · 155 阅读 · 0 评论 -
设置Spark程序设置日志打印级别
在maven项目中设置Spark程序的日志打印级别: 引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dep...原创 2020-03-12 11:09:35 · 888 阅读 · 0 评论 -
实战-Spark单机环境安装教程
Spark的单机安装方法很简单,这里我已spark2.4.5为例演示,最后启动的是cdh安装的spark2.4.0.原创 2020-03-12 00:14:44 · 519 阅读 · 0 评论 -
Spark错误问题记录
Spark错误记录java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1024 MB) of this cluster! Please check the values...原创 2020-03-11 23:56:50 · 1685 阅读 · 0 评论