Hadoop
文章平均质量分 64
创作者mateo
大数据专业,大数据行业从事者。帮忙辅导作业。免费教学大数据,而且本人还带徒弟哦!!!!文章末尾有v,获取资料
展开
-
mapreduce简单案例----求共同关注的粉丝
目的:第一阶段的目的是统计每个用户的关注列表,并整合为键值对。第二阶段的目的是计算每两位用户之间的共同关注好友,并整合为键值对。数据类型变化:在第一阶段,键值对的变化是从用户和关注列表到好友和拥有该好友的用户列表字符串。在第二阶段,键值对的变化是从好友和拥有该好友的用户列表字符串到用户组合和共同关注好友列表。这样的设计和变化使得整个 MapReduce 过程在不同阶段能够有效地处理数据,从而实现了共同好友查找系统的功能。数据集:张三:谢霆锋,陈奕迅,邓昊天,风清扬,伊森,奥布莱恩。原创 2024-01-11 14:44:59 · 1047 阅读 · 0 评论 -
大数据开发Hadoop-----深入 yarn基础架构
这里开始来说Hadoop的资源管理系统—yarn,yarn作为Hadoop的核心的组建之一,我们应该清楚的了解他的工作机制和基础架构。yarnyarn的由来 jobtracker 兼顾资源管理和作业控制跟踪功能跟踪任务,启动失 败或迟缓的任务,记录任务的执行状态,维护计数器),压力 大,成为系统的瓶颈 可靠性差:采用了 master/slave 结构,master 容易单点故障 资源利用率低:基于槽位的资源分配模型,槽位是一种粗粒度的 资源划分单位,通常一个任务不会用完一个槽位的.原创 2022-02-15 00:57:27 · 175 阅读 · 0 评论 -
浅谈Hadoop的应用
浅谈Hadoop的实际应用原创 2021-12-19 11:51:48 · 1645 阅读 · 1 评论 -
电商大数据实时数仓
电商大数据实时数仓项目实战,这里的所需要的配置文件,我上传到资源列表中,供大家下载原创 2021-12-18 13:47:22 · 1586 阅读 · 0 评论 -
day04Hadoop环境搭建之网络配置
day04Hadoop环境搭建之网络配置转载 2021-12-17 21:57:48 · 171 阅读 · 0 评论 -
hdfs的基本操作(完全版)
hdfs的基本操作原创 2021-12-16 06:46:28 · 3906 阅读 · 0 评论 -
wordcount再升级之统计学生表
WordCount案例再度升级,结合前两张看,会有很大的提升原创 2021-12-15 21:37:32 · 1073 阅读 · 0 评论 -
wordcount升级版
wordcount案例升级版,这里结合着前几个文件看,效果会好很多原创 2021-12-15 20:45:07 · 248 阅读 · 0 评论 -
mapreduce深入
mapreduce的深入学习原创 2021-12-15 20:06:31 · 529 阅读 · 3 评论 -
Hadoop实战之workcount
两种方法实现workcount原创 2021-12-15 19:52:55 · 1025 阅读 · 0 评论 -
Hadoop的学习,深入了解hdfs框架
深度了解hdfs架构,Hadoop的特点以及其工作机制原创 2021-12-14 07:15:10 · 1075 阅读 · 1 评论 -
hdfs的常见指令以及Java实现hdfs 的操作
hdfs的java实现,进行一些简单的操作,初学者学习还是很简单的,但是要求java的基础要好,不然可能看不懂原创 2021-12-12 10:53:43 · 509 阅读 · 0 评论 -
Hadoop的安装教程,很详细
jdk的安装和Hadoop的分布式安装,安装步骤简单,还有一些常见错误的讲解,安装过程有什么问题随时联系小编原创 2021-12-12 10:14:39 · 9972 阅读 · 5 评论