![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 67
西瓜游侠
希望自己能够开心
展开
-
详解RDD、DataFrame、Dataset
转载:https://www.cnblogs.com/starwater/p/6841807.html在Spark中,有三个针对数据的抽象结构:RDD、FataFrame、Dataset。1 共同点RDD、FataFrame、Dataset有以下共同点:RDD、FataFrame、Dataset都是分布式的弹性数据集,是对处理的数据的一种抽象。都有 惰性机制,在 转化操作 时,不会立即执行,只有在遇到 行动操作 时才会开始计算。都会根据Spark内存情况自动缓存运算,即使数据量很大也不用担.转载 2021-07-26 00:11:24 · 1051 阅读 · 0 评论 -
xxl-job官方文档学习笔记
参考:官方文档XXL-JOB是一个分布式任务调度平台。1 特性简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;调度中心HA(中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心HA;执行器HA(分布式):任务分布式执行,任务”执行器”支持集群部署,可保证任务执行HA;注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持.转载 2021-06-19 22:32:38 · 2797 阅读 · 0 评论 -
大数据专栏目录
环境搭建CentOS 7系统安装jdk1.8// todo原创 2021-06-19 00:07:16 · 168 阅读 · 0 评论