![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
学不会的大数据
这个作者很懒,什么都没留下…
展开
-
MapReduce工作流程和解析
MapReduce工作流程和解析Mapperreducermapper和reducer之间的工作流程 Mapper mapper以行为单位读取hdfs上的文件 对每一行进行<k,v>解析 将<k,v>写入context中 reducer 从context中拉取一个key对应的value迭代器 对key、value处理,转化成新的key、value输出<k2, v...原创 2020-05-04 10:22:49 · 128 阅读 · 0 评论 -
hdfs集群执行流程,进程分析
hdfs集群执行流程,进程分析hdfs集群结构副本分片策略rebalance重新平衡策略secondaryNamenode hdfs集群结构 hdfs(Hadoop Distributed File System)是为Hadoop生态环境设计的分布式文件存储系统,由于基于jvm的架构上,所以理论上可以运行在任何支持java的机器上。 hdfs文件系统,核心由namenode和datanode组成,...原创 2020-05-04 09:53:35 · 294 阅读 · 0 评论 -
配置hadoop分布式文件管理系统
配置hadoop分布式文件管理系统hadoop配置 hadoop配置 配置核心文件core-site.xml 需注意tmp文件夹的位置,此处存放的是namenode的相关信息 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://xx...原创 2020-04-25 18:23:12 · 140 阅读 · 0 评论