hadoop
健康平安的活着
再给我一次重生的机会,我将加倍珍惜,将java事业进行到底。
展开
-
hadoop的之 hdfs
HDFS概述1.1 各节点的作用Hdfs:采用主/从结构对文件系统进行管理,namenode分布在主节点上,datanode分布在从节点上;Namenode:相当于一个leader,负责资源调度,当用户上传一个640m的文件,按64m为单元进行分块,然后分布在集群的数据节点上。当用户查询时候namenode从数据节点从取出。存储的元信息:文件的名字,大小,修改时间等。Datano...原创 2019-06-19 19:11:25 · 281 阅读 · 0 评论 -
hadoop3.x M/R 实现wordcount
项目工程见:1.mapper代码:WcMapper2.reducer代码:WcReducer3.job调用:4.使用pom文件配置打包方式:5.会在工程下生成一个jar:且修改jar包为hadoop-demo.jar6.jar包上传到linux系统上7.将待统计文件words.txt上传到hdfs上Hadoop fs –put /...原创 2019-01-20 14:31:19 · 727 阅读 · 0 评论