大数据
文章平均质量分 87
韭菜盖饭
一名自学爪哇的小学生
展开
-
大数据----基于sogou.500w.utf8数据的MapReduce编程
最近学习大数据的知识,需要做一些有关的实验实验内容是在数据的基础上进行的。1、统计出搜索过包含有“仙剑奇侠传”内容的UID及搜索关键字记录2、统计rank<3并且order>2的所有UID及数量3、上午7-9点之间,搜索过“赶集网”的用户UID4、通过Rank:点击排名 对数据进行排序该实验是在已经搭建好Hadoop集群的基础上进行的,如果还没有搭建,请参考以下文章进行集群搭建。原创 2023-12-24 21:25:13 · 1569 阅读 · 0 评论 -
大数据----MapReduce实现统计单词
是一个编程框架,它可以轻松地编写应用程序,以可靠的、容错的方式处理大量的数据(数千个节点)。正如其名,MapReduce的工作模式主要分为Map阶段和Reduce阶段。一个MapReduce任务(Job)通常将输入的数据集分割成独立的块,这些块被map任务以完全并行的方式处理。框架对映射(map)的输出进行排序,然后将其输入到reduce任务中。通常,作业的输入和输出都存储在文件系统中。框架负责调度任务、监视任务并重新执行失败的任务。在Hadoop集群中,计算节点一般和存储节点相同,即。原创 2023-12-24 16:57:41 · 897 阅读 · 0 评论 -
Hadoop分布式集群搭建教程
大数据课程需要搭建Hadoop分布式集群,在这里记录一下搭建过程。原创 2023-10-11 23:17:24 · 1503 阅读 · 1 评论