大数据
文章平均质量分 54
丢雷劳谋
这个作者很懒,什么都没留下…
展开
-
大数据面试相关
2022年最强大数据面试宝典(全文50000字,建议收藏)_51CTO博客_数据分析面试宝典原创 2023-09-19 14:46:46 · 97 阅读 · 0 评论 -
Flink相关
墨滴社区用 Flink 取代 Spark Streaming!知乎实时数仓架构演进_天池技术圈-阿里云天池原创 2023-09-18 16:34:58 · 300 阅读 · 0 评论 -
Hive工作原理
Hive 工作原理详解-阿里云开发者社区1. Driver组件:该组件包括:Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2中的SourceManager来进行实际的执行相应的任务。2. MetaStore组件:存储着hive的元数据信息,将自己的元数据存储到了关系型数据库当中,支持的数据库主要有:Mysql、Derby、支持把metastore独立出来放在远程的集群上面,使原创 2023-09-18 16:14:14 · 306 阅读 · 0 评论 -
MapRdeuce工作原理
Map和Reduce工作流程。MapReduce执行过程。MapReduce架构。原创 2023-09-18 16:00:12 · 220 阅读 · 0 评论 -
Hbase工作原理
Region 大小超过设定的阈值:HBase 监测每个 Region 的大小,并在某个 Region 的大小超过预设的阈值(称为 split size)时触发拆分。按 Region 数量拆分:HBase 将会根据当前 Region 的数量和预设的最大 Region 数量,将一个大的 Region 均匀地拆分成多个子 Region。创建新的子 Region:根据选定的拆分策略,HBase 会创建新的子 Region,并将其分配给适当的 RegionServer 进行处理。原创 2023-09-13 17:13:28 · 519 阅读 · 0 评论