![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 84
Deng872347348
这个作者很懒,什么都没留下…
展开
-
Spark的配置和启动
Spark的配置和启动文章目录Spark的配置和启动准备工作:下面我们配置环境变量:出现如下进程成功启动集群:准备工作:安装Spark集群前,需要安装Hadoop环境,我们采用如下配置环境。•Linux系统:CentOS_7的任意版本 ,因为6.几的版本现在停止维护了•Hadoop:2.7.4版本•JDK:1.8版本•Spark:2.3.2版本第一步,官网下载spark:还要有三天虚拟机:VMware Workstation CentOS7.x192,168.245.221 node (原创 2021-03-24 14:35:24 · 2560 阅读 · 1 评论 -
Spark之Scala
Spark之Scala文章目录Spark之Scala什么是Scala:Scala简介Scala的特点是什么:Scala的运行方式:介绍三种Scala代码编译 执行的方式:**2.** **通过控制台进行编译及执行****scala****文件****3.** **在****IDEA****开发工具中运行**什么是Scala:Scala简介Scala语言是集面向对象编程思想与函数式编程思想于一身的通用编程语言,由Martin Odersky教授及其领导的瑞士洛桑联邦高等理工学院程序方法实验室团队于原创 2021-03-12 14:59:33 · 1020 阅读 · 0 评论 -
如何在虚拟机上安装和配置Spark开发环境
如何文章目录如何在虚拟机上安装和配置Spark开发环境下载解压安装包配置环境变量:修改Spark配置文件校验在虚拟机上安装和配置Spark开发环境背景:Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不原创 2021-01-03 16:18:36 · 6165 阅读 · 0 评论 -
Spark的简介
Spark的简介:文章目录Spark的简介:前言:Spark **是什么**Spark和Scala:Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集Spark and Hadoop首先从时间节点上来看:HadoopSparkHadoopSparkSpark or HadoopSpark支持的语言:Spark的性能优点:Spark核心组件如下:原创 2021-01-03 15:48:56 · 588 阅读 · 0 评论