数据仓库
文章平均质量分 93
数据仓库、大数据相关的东东
姜萌芽
人初做事,如鸡孵卵,不舍而生气渐允,如燕营巢,不息而结构渐牢,如滋培之木,不见其长,有时而大,如有本之泉,不舍昼夜,盈科而后进,放乎四海。
展开
-
0. Spark 代码执行的流程框架
一、代码流程步骤整体流程图如下所示 :步骤1:在 Spark client 机器上编写并提交我们写的 Spark 程序 application。 步骤2:我们使用 spark-submit 命令提交后,该命令会以反射的方式,创建一个 Driver 进程。这个 Driver 进程执行我们编写的代码。 步骤3: 当 Driver 进程执行到我们代码中 SparkContex...原创 2019-01-27 17:51:18 · 230 阅读 · 0 评论 -
1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(1)- 安装 CentOS
基于 Mac 平台 VMware 虚拟机的 Spark 安装系列博文,主要分为如下几个篇章 :1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(1)- 安装 CentOS2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(2)- 安装 Hadoop3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(3)- 安装 MySQL4.基于 Mac...原创 2019-02-15 19:27:57 · 983 阅读 · 3 评论 -
2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(2)- 安装 Hadoop
接上篇文章,1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(1)- 安装 CentOShttps://blog.csdn.net/jiangmengya1/article/details/87379865这篇文章里,2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(2)- 安装 Hadoop以下所有操作, root 账户一、安装 Hadoo...原创 2019-02-16 10:36:54 · 712 阅读 · 1 评论 -
3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(3)- 安装 MySQL
接上篇文章,2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(2)- 安装 Hadoophttps://blog.csdn.net/jiangmengya1/article/details/87430741这篇文章里,3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(3)- 安装 MySQL以下所有操作基于 root 账户我们后面会测试使用 Sp...原创 2019-02-17 23:11:07 · 392 阅读 · 1 评论 -
4. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (4) - 安装 Hive
接上篇文章,3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装(3)- 安装 MySQLhttps://blog.csdn.net/jiangmengya1/article/details/87564758这篇文章里,主要介绍 4. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (4) - 安装 Hive以下所有操作基于 root 账户一、安装 H...原创 2019-02-18 17:09:51 · 383 阅读 · 0 评论 -
5. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (5) - 安装 Spark
接上篇文章,4. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (4) - 安装 Hivehttps://blog.csdn.net/jiangmengya1/article/details/87630373这篇文章里,主要介绍 5. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (5) - 安装 Spark以下操作均基于 root 用户一、安装...原创 2019-02-18 18:35:53 · 669 阅读 · 0 评论 -
6. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (6) - 测试 spark-submit
接上篇文章,5. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (5) - 安装 Sparkhttps://blog.csdn.net/jiangmengya1/article/details/87636315这篇文章里,主要介绍 6. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (6) - 测试 spark-submit这里的测试,我们采用几种模式来运...原创 2019-02-19 15:05:25 · 303 阅读 · 0 评论