- 博客(2)
- 收藏
- 关注
RSS订阅原创 搭建spark集群和安装scala
在scala官网下载文件，然后进行文件的托拽到（/opt/software）目录下。后，看出现一下就说明搭建成功。下载解压spark安装包。命令解压文件，解压到。
2024-04-25 17:19:51
195
3
原创 震惊！！！跟着我学Hadoop，既然如此简单。(快收藏起来学习吧)
MapReduce是一个分布式运算程序的编程框架，是用户开发"Hadoop的数据分析应用"的核心框架。MapReduce的思想核心是"分而治之"，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责"分"，即把复杂的任务分解为若干个"简单的任务"来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责"合"，即对Map阶段的结果进行全局汇总。MapReduce用于大规模数据集（通常大于1TB）的并行运算，实现了Map和Reduce两个功能。
2024-03-12 23:45:13
1004
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人