MapReduce
TomAndersen
新目标:喜欢上读书
展开
-
Hadoop源码解析之Mapper数量计算公式
前言据说,自0.20.0版本开始,Hadoop同时提供了新旧两套MapReduce API,并在后续版本中也同时支持这两种API的使用。新版本MR API在旧的基础进行了扩展,也制定了新的split计算方式。新版本MR API在包org.apache.hadoop.mapreduce及其子包中,而旧版本MR API则在包org.apache.hadoop.mapred及其子包中。本文主要从源码角度,简单谈谈新旧MR API中常用的FileInputFormat类(TextInputFormat的父类)原创 2020-05-29 23:08:28 · 382 阅读 · 0 评论 -
Hadoop集群极简入门基础配置教程
1. 核心配置文件配置文件在 /hadoop-2.7.7/etc/hadoop 路径下(1)配置core-site.xml编辑 core-site.xml 文件,在configuration中插入配置信息,具体配置如下所示:<configuration> <!-- 指定HDFS中NameNode的地址 --> <property> ...原创 2020-02-08 16:49:59 · 315 阅读 · 0 评论 -
Failed to setup local dir C:/hadoop-2.7.7/workplace/tmp/nm-local-dir, which was marked as good
Windows平台下向本地Hadoop集群提交作业时报错:Failed to setup local dir C:/hadoop-2.7.7/workplace/tmp/nm-local-dir, which was marked as good.问题: 如题;平台及版本: Windows10+JDK1.8.0_191+Hadoop2.7.7;个人的解决方案: 使用管理员身份命令行启动Had...原创 2019-09-27 21:28:31 · 1372 阅读 · 0 评论