大数据
文章平均质量分 89
在路上2021
这个作者很懒,什么都没留下…
展开
-
Spark三种提交任务模式
目录1.Standalone2.Yarn-Cluster3.Yarn-Client1.Standalone任务提交流程: Spark-Submit 提交任务给 Master; Master 收到任务请求后,通过 LaunchDriver 向合适的 Worker 请求启动 Driver; Worker 收到请求后启动 Driver; Driver 启动后向 Master 注册用户App信息; Master 收到 App 信息后.转载 2021-08-06 16:55:02 · 975 阅读 · 0 评论 -
Ambari2.7.3-Spark2.3.2提交任务
一、你了解JVM内存结构吗在这之前需要知道内存寻址过程地址空间划分内核空间是用于连接硬件,调度程序联网等服务用户空间,才是java运行的系统空间我们知道JVM是内存中的虚拟机,主要使用内存进行存储,所有类、类型、方法,都是在内存中,这决定着我们的程序运行是否健壮、高效。JVM内存结构图——JDK1.8线程私有:程序计数器、虚拟机栈、本地方法栈线程共享:MetaSpace、Java堆下面我们会对图中五个部分进行详细说明...转载 2021-08-06 16:45:11 · 247 阅读 · 0 评论 -
Waterdrop总结
目录1、简介使用场景Waterdrop 的特性Waterdrop 的工作流程核心概念安装Waterdrop 支持的插件(v1.x)环境依赖2、功能测试任务提交方式从Hive表导入数据从PostgreSQL导入数据Waterdrop 读写hive需要注意的地方3、v1.x 与 v2.x 区别4、参考链接1、简介Waterdrop 是一个非常易用,高性能、支持实时流式和离线批处理的海量数据处理产品,架构于Apache Spark 和 Ap原创 2021-08-06 16:27:49 · 2155 阅读 · 0 评论