☀️☀️基于 Hive 的 SparkSQL 启动流程—Hadoop、MySQL、Hive、Spark

第1章 基于 Hive 的 SparkSQL 启动流程

1.1 启动 Hadoop 集群 (HDFS)

启动 Hadoop 集群的详细步骤可参考: 完全分布式运行模式 中第 4.8.2小节 进行操作。

---

1.2 启动 MySQL 服务

启动 MySQL 服务的详细步骤可参考: Hive基础—安装MySQL 中第 2.4.3小节。

---

1.3 启动 Hive 服务

• 交互式启动: 启动 Hive 服务的详细步骤可参考: Hive基础—访问 Hive 中第 2.6小节 的描述。
• 脚本启动 (使用JDBC连接): 启动 Hive 服务的详细步骤可参考: Hive基础—访问 Hive 中第 2.7.5小节 的描述。
• 注: 如果用脚本启动 Hive 之后，再用交互式启动方式，则会报 端口被占用 的错误。

---

1.4 启动 Zookeeper 服务, 配置高可用 (伪分布式模式时启动)

启动 Zookeeper 服务的详细步骤可参考: Spark基础—独立部署模式、配置高可用 中第 3章 的描述。

1.5 启动 Spark 集群

• 本地模式: 启动 Spark 集群的详细步骤可参考: Spark基础—Linux环境下启动Spark本地模式 中第 2.3.1小节 第 (3) 点。
• 伪分布式模式: 启动 Spark 集群的详细步骤可参考: Spark基础—Linux环境下启动Spark本地模式 中第 2.4.3小节。
• YARN模式: 启动 Spark 集群的详细步骤可参考: Spark运行模式—YARN模式—搭建运行环境 中第 4.3小节。

1.6 Hive On Spark 项目实战

Hive On Spark 项目实战的详细信息请参考: SparkSQL—项目实战—各区域热门商品 Top3 中的详细描述。

---

声明：本文是学习时记录的笔记，如有侵权请告知删除！
原视频地址:https://www.bilibili.com/video/BV11A411L7CK