![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
编程有了模型
一个专注于用模型树学习法搭建计算机领域基础理论知识体系的专栏。
展开
-
Spark-学习日志-20181221
目录1、Spark的特点2、Spark 支持的几种部署方案3、Spark的应用场景4、Spark集群安装5、Spark高可用集群6、配置Spark HistoryServer7、Spark的基本使用8、修改Spark的日志级别9、Spark 的 WordCount1、Spark的特点1、快速高效Spark 允许将中间输出和结果存储在内存中,节省了大量...原创 2018-12-21 20:25:17 · 494 阅读 · 0 评论 -
Spark集群安装步骤
Windows本地下载的安装包:spark-2.2.2-bin-hadoop2.7本地启动(windows):将下载到的软件解压之后,直接启动bin/spark-shell2.cmd。启动成功后如下图 测试代码: sc.textFile("D:/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(...原创 2018-12-21 19:15:58 · 295 阅读 · 0 评论 -
Spark高可用集群安装
1、停止 Spark 集群[hadoop@hadoop02 ~]$ cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7[hadoop@hadoop02 ~]$ sbin/stop-all.sh2、配置 ZooKeeper 集群安装、配置并且启动好 ZooKeeper 集群3、修改 SPARK_HOME/conf 目录中的 spark-en...原创 2018-12-21 19:33:43 · 495 阅读 · 1 评论 -
配置 Spark HistoryServer
第一步:cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/confcp spark-defaults.conf.template spark-defaults.conf在文件里面添加如下内容:spark.eventLog.enabled truespark.eventLog.dir hdfs://myha01/ssparklo...原创 2018-12-21 19:44:33 · 739 阅读 · 0 评论 -
SparkCore 核心知识——核心机制
目录1、Spark 的核心概念2、Spark 的运行流程2.1、Spark 的基本运行流程2.2、运行流程图解2.3、SparkContext 初始化2.4、Spark 运行架构特点2.5、DAGScheduler2.6、TaskScheduler2.8、Executor3、Spark 任务执行流程分析3.1、Spark 任务的任务执行流程图解3.2...原创 2019-01-03 21:01:23 · 4589 阅读 · 0 评论 -
Spark 基础知识
目录1、Spark的产生背景1.1、MapReduce的发展1.1.1、MRv1的缺陷1.1.2、MRv2的缺陷1.1.3、Spark的产生2、Spark概念3、Spark特点3.1、Speed:快速高效3.2、Ease of Use:简洁使用3.3、Generally:全栈式数据处理3.4、Runs Everywhere:兼容4、Spark应用场景...原创 2019-01-02 20:18:28 · 1999 阅读 · 0 评论 -
Spark Core 核心知识——RDD
目录1、Spark 核心功能2、Spark 扩展功能3、Spark 核心概念4、Spark 基本架构5、Spark 编程模型6、RDD6.1、RDD 概述6.1.1、什么是 RDD6.1.2、RDD 的属性6.2、创建 RDD6.3、RDD 的编程 API6.3.1、Transformation6.3.2、Action6.3.3、WordCo...原创 2019-01-03 19:29:08 · 749 阅读 · 0 评论