hadoop
文章平均质量分 94
顽强的豆芽
笑出强大
展开
-
手把手与你一起走 MapReduce 编程的套路
目录 一.MapReduce的运行步骤(待补充) 二.编程模板 1.自定义Mapper类继承Mapper,并重写map方法: 2.自定义Reducer类集成Reducer,并重写Reduce方法 3.Driver 主入口,整合mapper和reducer 4.idea 打成jar包 5.服务器执行hadoop jar 一.MapReduce的运行步骤(待补充) 二.编程模板 ...原创 2021-08-22 22:20:05 · 644 阅读 · 1 评论 -
Hdfs 基础
一.HDFS 设计思想 二.HDFS 四大机制 1.心跳机制:原创 2021-08-21 16:22:18 · 168 阅读 · 0 评论 -
Hadoop 集群安装的敲黑板重点
一.了解Hadoop的集群架构 二.安装的配置文件关键点 很多博客都有详细的完全分布式和高可用的安装步骤,我这里不再赘述,我这边着重讲一下关键的配置信息。 1.core-site.xml 公共的配置文件 (1)配置hdfs的访问地址:hdfs://namenode的主机名:9000 ...原创 2021-08-15 22:21:12 · 220 阅读 · 0 评论 -
Hadoop 硬核认识
一.什么是Hadoop? 诞生:为了处理大数据 本质:分而治之 在我理解中是分成三大部分:存储,计算,中间协调组件 下面这张图(来自度娘)很好的画出了Hadoop的生态圈 二.Hadoop 经典问题来认识Hadoop的思想 1.有一个非常大的文件,计算文件每个单词出现的次数 众人拾柴火焰高,面对大数据,一台机器算不过来而且性能也差,分多台机器算,是不是很像多线程的思想,如文件是1个T,那么把1个T的文件分成10个,由10台机...原创 2021-08-10 22:49:38 · 679 阅读 · 2 评论