- 博客(4)
- 收藏
- 关注
RSS订阅原创 MapReduce中一共发生多少次排序？
Reduce Task前分组排序：当所有文件拷贝完毕后，Reduce Task统一对内存和磁盘上所有数据进行一次归并排序。按照指定分区读取到Reduce缓冲中（不够则落盘）：磁盘上文件数据达到一定阈值，进行一次归并排序以生成更大的文件。环形缓冲区：当缓冲区的数据达到阈值后，对缓冲区数据进行一次快速排序，再溢写到磁盘。溢写到磁盘后：当数据MapTask处理完毕后，所有文件进行归并排序。最多总共可能发生四次排序。2.Reduce阶段。
2023-04-12 20:31:13
438
原创 MAC电脑配置环境变量
一、准备工作准备好相关安装包，例如jdk和scala等安装包，可以直接去官网下载。二、配置环境变量1、将文件解压到相关目录，个人习惯将安装包解压到资源库（/Library/）文件夹下2、打开终端，执行 sudo vim ~/.bash_profile 命令。如果不按照这种方式编辑可能会出现如下图所示配置文件已锁定的问题。3、添加新增的环境变量后需执行 source ~/.bash_profile 使配置文件生效。4、执行 open -e ~/.bash_profile 命
2022-04-12 14:33:59
6963
原创 DolphinScheduler——流程调度工具
一、平台简介Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师； 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态； 支持多租户； 支持许多任务类型：Shell，MR，Spark，SQL（mysql，postgr
2022-03-16 10:39:03
9591
1
转载 数据可视化——Davinci
数据可视化——Davinci对比及功能使用一. 数据可视化个人引用部分1.有趣的意义2.常规的意义二.图形的内涵1. 图形类型2. 优秀可视化的特点三.可视化需求分析1. 四个问题2. 三个沟通点四.Davinci功能详解1. 可视化构建流程2. 数据源-Source3. 数据视图-View4. 可视化组件-Widget1. 可视化配置本质2. 功能支持3. 图表支持5. 仪表板-Dashboard1. 图表联动2. 全局控制器3. 数据钻取6. 大屏-Display1 区别引自大佬文章：https://
2022-03-15 10:54:02
1767
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人