Spark
Spark相关技术文章。
katus
流下了没有技术的眼泪……为成为一个高技术力软件工程师不懈努力中……
展开
-
Spark数据库操作初步——Spark开发学习笔记(三)
Spark数据库操作初步本文的操作环境和安装的版本操作系统:Windows 10 1909版本IDE:IntelliJ IDEA Ultimate 2019.2.4版本JDK:1.8.0_221Hadoop:2.7.1Spark:3.0.0-previewScala:2.12.10Maven:3.6.2数据库:MySQL 8.0.18一、准备工作在之前环境的基础上我们...原创 2019-11-29 11:31:03 · 1157 阅读 · 0 评论 -
Spark RDD 初探——Spark开发学习笔记(二)
Spark RDD 初探弹性分布式数据集(Resilient Distributed Dataset,RDD)是Spark中的核心概念,基本上所有的Spark运算操作对象都是RDD,我们今天就来简单认识一下这个RDD。说明:由于本文的开发基于Java,因此所有的观点都是基于Java的。一、RDD 创建RDD是一种数据集,初步我们可以将其想象成一个数组类似的数据结构,先不去管实际的存储结...原创 2019-11-27 15:08:29 · 299 阅读 · 0 评论 -
Spark开发环境搭建——Spark开发学习笔记(一)
前言:本人水平有限,目前在前辈的指导下进行Spark开发的自学,在此整理出自学笔记,主要是巩固一下学习的内容,如果本文内容能对各位读者有所启发,我将十分高兴。另外由于个人水平有限,所写内容难免有疏漏之处,欢迎各位批评指出。Spark开发环境搭建一、Java环境搭建安装java环境需要安装部署JDK和JRE,本次选择的JDK版本是1.8。前往官网即可下载,官网链接:JDK下载地址。我们...原创 2019-11-26 11:56:47 · 1062 阅读 · 1 评论