![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Icesuns
没有对象的野指针
展开
-
Spark 简介
转载于 www.zicesun.com之前看了一些Spark的相关内容,我觉得很有必要进行总结一下,不然都搭不起自己的知识框架。Apache SparkApache Spark™是用于大规模数据处理的统一分析引擎,是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计...原创 2019-03-29 19:27:28 · 166 阅读 · 0 评论 -
转载——学习之路——Spark(2)
本文转载于 www.zicesun.com icesuns.github.io本文讲介绍如何搭建spark集群。搭建spark集群需要进行一下几件事情:集群配置ssh无秘登录java jdk1.8scala-2.11.12spark-2.4.0-bin-hadoop2.7hadoop-2.7.6上述所有的文件都安装在/home/zhuyb/opt文件夹中。服务器服务器是...原创 2019-03-29 19:32:50 · 143 阅读 · 0 评论 -
学习之路——Spark(3)——Spark RDD内部结构
本文原地址在 www.zicesun.com icesuns.github.ioSpark是一个基于分布式内存的大数据计算框架,RDD (Resilient Distributed Dataset)是Spark最重要的一个数据抽象。这篇文章记录了我对RDD的一些理解,有不足和错误的地方,请留言指正。什么是RDDRDD (Resilient Distributed Dataset),弹性分...原创 2019-03-29 19:35:01 · 290 阅读 · 0 评论 -
java实现spark(1)
用java实现简单的Spark例子。数据很简单,是一个被预先处理的日志文件,包括时间、电话号,上行流量和下行流量。一行为一条记录,不同数据之间用制表符隔开。样本类样本类是为了将日志文件的一条记录封装起来package com.icesun.java.accessLog;import java.io.Serializable;public class LogInfo impleme...原创 2019-06-09 22:00:16 · 332 阅读 · 0 评论 -
Spark常见算子
这里,从源码的角度总结一下Spark RDD算子的用法。单值型Transformation算子map /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: ClassTag](f: T => U): RDD[U] = withScope { ...原创 2019-06-10 00:13:05 · 189 阅读 · 0 评论