- 博客(2)
- 收藏
- 关注
RSS订阅原创 孙悟空被压500年也想不出看文档瞬间就会scala和spark以及hadoop
export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop #指定hadoop路径。解压tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src。export HADOOP_HOME=/usr/local/src/hadoop #指定hadoop路径。export SCALA_HOME=/usr/local/scala-2.11.8 #指定scala路径。节点上，并修改文件夹访问权限。
2024-04-25 16:20:35
974
3
原创 四年级三班宇宙无敌霸王龙战士
mapreduce是hadoop的计算框架，它与hdfs关系紧密。可以说它的计算思想是基于分布式文件而设计的。MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。MapReduce是一种用于处理和生成大规模数据集的编程模型和算法。它最初由Google提出，并成为了Hadoop生态系统的核心组件之一。MapReduce的核心思想是将一个大任务分解成若干个小任务，并在分布式计算集群上并行处理这些小任务。它包含两个主要阶段：Map阶段和Reduce阶段。
2024-03-13 10:18:00
946
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人