Hadoop
文章平均质量分 88
?CaMKII
这个作者很懒,什么都没留下…
展开
-
Spark学习_02_运行模式和架构
Spark运行环境和架构 1. Spark运行环境 Spark作为一个数据处理框架和计算引擎,它被设计在所有常见的集群环境下运行,目前主流环境是基于Hadoop的Yarn环境,docker环境也在慢慢流行起来 Spark的运行环境目前分为三种模式:local模式、standalone模式和Yarn模式 1.1 local模式 local模式是不需要其他任何节点资源就可以在本地执行Spark程序的环境,一般用于学习、调试等 安装不需要额外配置,解压到你想放的路径即可 · 提交应用 bin/spark-subm原创 2021-04-23 19:51:25 · 2084 阅读 · 4 评论 -
Spark学习_01_概述
Spark 一、spark概述 1. spark · spark是一种由Scala语言开发的快速、通用、可拓展的大数据分析引擎 · spark core中提供了spark最基础与最核心的功能 · spark SQL是spark用来操作结构化数据的组件。通过spark SQL,用户可以使用SQL或者apache Hive版本的HQL来查询数据 · spark streaming是spark平台上针对实时数据进行流式计算的组件,提供了丰富的处理数据流的API 总结:spark出现的时间较晚,且主原创 2021-04-23 19:48:28 · 145 阅读 · 0 评论 -
基于Hadoop的Spark集群搭建
title: Spark集群搭建 date: 2020-03-19 19:30:31 tags: Hadoop 基于Hadoop的Spark集群搭建 准备 Spark三种运行模式简介 Local模式 Local 模式是最简单的一种Spark运行方式,它采用单节点多线程(cpu)方式运行,local模式是一种OOTB(开箱即用)的方式,只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用,因而常用于开发和学习 方式:./spark-shell - -master loca.原创 2020-10-13 16:52:18 · 1058 阅读 · 1 评论 -
Hadoop单机模式-伪分布式搭建
title: Hadoop单机模式/伪分布式搭建 date: 2020-03-18 23:34:17 tags: Hadoop Hadoop单机模式/伪分布式搭建 准备 Hadoop三种安装模式简介 Hadoop共有三种安装模式可以使用:单机模式、伪分布式、完全分布式 1.Hadoop单机模式 单机模式是Hadoop默认的安装模式,这种安装模式主要就是并不配置更多的配置文件,只是保守的去设置默认的几个配置文件中的初始化参数,他并不与其他节点进行交互,并且也不使用HDFS文件系统,它主要就是为了调试MapR.原创 2020-10-13 16:50:39 · 2582 阅读 · 0 评论