Spark从入门到成神之路
关注
分享
扫一扫
独行侠梦
公众号关注 ： 【侠梦的开发笔记】后回复【问题的答案】进入：java中Integer包装类的基本数据类型是？
如果你也经历过遇到项目难题，无从下手，
他人有可能可以给你提供一些思路和看法，一百个人就有一百种思路，
同样，如果你也乐于帮助别人，那解决别人遇到的问题，也同样对你是一种锻炼。
展开
-
Spark本地运行increase heap size错误解决方案
前言本地运行spark程序的时候，报错：java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Sp...原创 2020-03-09 08:51:08 · 3399 阅读 · 1 评论 -
Spark理论开山篇（一）
一句话理解Spark是什么spark是一个基于内存计算的框架，是一种通用的大数据快速处理引擎。spark的版本支持情况本文基于Spark2.3.1做阐述说明。 spark的特点内存计算运行速度快当然说它快，总要有个对比项，这里是基于和Hadoop的MapReduce来对比，由Spark是基于内存，所以它的计算速度可以达到MapReduce\Hive的数倍甚至数十倍高。灵活...原创 2020-03-02 18:37:59 · 325 阅读 · 0 评论 -
从Spark WordCount程序认识Spark架构（二）
前言在上文中我们学习到了RDD(弹性分布式数据集)的基础概念，而本文介绍的wordcount，相当于入门spark的hello word程序。我们准备一个nohup.out文件，内容如下：my name is hyq hyqhyq引入依赖首先新建一个maven工程，引入spark-core依赖,使用的版本为2.3.1。<scala.binary.version>...原创 2020-03-02 18:34:20 · 259 阅读 · 0 评论