![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习
文章平均质量分 85
shi_zi_183
这个作者很懒,什么都没留下…
展开
-
Maven开发Spark程序
Maven开发Spark程序新建Maven项目将src/main/java改名为src/main/scala修改pom.xmlpom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem原创 2021-10-19 20:02:13 · 522 阅读 · 0 评论 -
Spark安装
Spark安装安装前环境三台虚拟机master、slave1、slave2组成集群,配置好了hadoop。hadoop相关软件全部交由hadoop用户启动。scala安装安装包获取scala-2.11.8解压并移植安装目录tar -zxvf scala-2.11.8.tgzmv scala-2.11.8 /usr/local/scala更改目录权限chown -R hadoop:hadoop /usr/local/scala/配置hadoop用户环境变量vi /home/had原创 2021-09-22 09:27:39 · 615 阅读 · 0 评论 -
scala函数式编程
Scala函数式编程什么是函数式编程?1、函数式编程将计算视为数学上的函数计算2、函数成为了和普通的值一样的"头等公民",可以像任何其他数据类型的值一样被传递和操作函数式编程成为越来越流行的编程范式1、大数据应用和并发需求的驱动;2、纯函数的行为表现出与上下文无关的透明性和无副作用性,避免了多线程并发应用中最复杂的状态同步问题。Scala在架构层面上提倡上层采用面向对象编程,而底层采用函数式编程。Scala并不是完全的函数式编程,不要求变量不可变,但他推荐尽量采用函数式来实现具体的算法和操作原创 2021-09-01 12:16:14 · 795 阅读 · 0 评论 -
Scala基础
Scala基础Scala是一门类似Java的多范式语言,集合了面向对象编程和函数式编程的特性。使用Scala语言编写Spark应用程序的考虑:1)Scala具有强大的并发性,支持函数式编程,可以更好的支持分布式系统。在大数据时代,为了提高应用程序的并发性,函数式编程日益收到关注;2)Scala兼容Java,可以与Java互操作。Scala代码文件会被编译成Java的class文件,开发者可以从Scala中调用Java类库;3)Scala代码简洁优雅;4)Scala支持高效的交互式编程。其提供了交原创 2021-08-25 10:39:26 · 382 阅读 · 0 评论 -
Spark基础
Spark基础Hadoop与Spark的区别Hadoop1、Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架2、作为Hadoop分布式文件系统,HDFS处于Hadoop生态圈的最下层,存储着所有的数据,支持者Hadoop的所有服务器。它的理论基础源于Google的TheGoogleFileSystem这篇论文,它是GFS的开源实现。3、MapReduce是一种编程模型,Hadoop根据Goodle的MapReduce论文将其实现,作为Hadoop原创 2021-08-19 23:17:28 · 177 阅读 · 0 评论