spark
关注
分享
扫一扫
我行其野&芃芃其麦
这个作者很懒，什么都没留下…
展开
-
Spark在Windows下的环境搭建
Spark在Windows下的环境搭建本文主要是讲解Spark在Windows环境是如何搭建的一、JDK的安装1、1 下载JDK 首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Orac...转载 2019-09-02 11:00:03 · 434 阅读 · 0 评论 -
Spark从零到一 （一）Spark简介
Spark简介一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能spark是一个实现快速通用的集群计算平台。它是...原创 2019-09-02 14:04:54 · 830 阅读 · 0 评论 -
Spark从零到一 （二）Spark之RDD
Spark之RDD一、RDD的概述1.1 什么是RDD？RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点...原创 2019-09-02 15:31:22 · 245 阅读 · 0 评论 -
Spark从零到一 （三）Spark之广播、共享、缓存
Spark之广播、共享、缓存一、概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spar...原创 2019-09-02 17:41:36 · 552 阅读 · 0 评论 -
Spark从零到一 （四）Spark API In Java8
Spark API In Java8一、map、flatMapmap十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从而生成一个新的JavaRDD。map示例代码List<Integer> list = Arrays.asList(1, 2, 3);System....原创 2019-09-03 10:28:54 · 303 阅读 · 0 评论 -
Spark从零到一 （五）Spark 调优
Spark 调优正文摘抄自：https://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学...转载 2019-09-03 10:38:26 · 164 阅读 · 0 评论