spark
浅汐yt
当你觉得很难,很难,快要撑不下去的时候,你要知道,总有人在摇摇欲坠的现实中颠沛流离,等日出、等日落、等花开、等风来......
展开
-
浅谈Spark Livy
Spark Livy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1. 什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案。涉及到一些角色:①客户端:browser,app终端设备②Livy Server③Livy Server获得用户的请求后,让后将job提交给spark 集群去执行。...原创 2020-03-08 00:12:36 · 4893 阅读 · 0 评论 -
Spark的pom文件配置
Spark的pom文件配置如下(复制粘贴即可): <!--声明共有的属性--> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.t...原创 2020-03-07 01:04:55 · 2484 阅读 · 1 评论 -
RDD的概念和弹性
RDD概念:RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有具有数据模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。在之前学习MR的过程中对数据是没...原创 2020-03-07 01:01:06 · 1700 阅读 · 0 评论