Hadoop
Alaskyed
辣白菜
展开
-
Hadoop(12) Yarn详解和job提交源码解析
Hadoop(12) Yarn和job提交源码解析文章目录Hadoop(12) Yarn和job提交源码解析Yarn基本架构架构图组件介绍ResourceManagerNodeManagerApplicationManagerContainerYarn工作机制Yarn流程图Yarn流程详解job提交的部分源码源码细节源码流程图示任务推测执行执行推测任务的前提条件不能启用推测执行机制情况推测执行...原创 2020-04-02 10:04:46 · 335 阅读 · 0 评论 -
Hadoop(11) MapReduce-4 分组和OutputFormat
Hadoop(11) MapReduce-4 分组和OutputFormat分组(GroupingComparable)GroupingComparable介绍GroupingComparable作用GroupingComparable是在Reduce阶段, 在数据进入Reducer之前, 对数据进行一个或几个字段的分组(默认是key相同的数据为同一组), 然后使数据分组次进入Red...原创 2020-04-02 10:03:26 · 220 阅读 · 0 评论 -
Hadoop(10) MapReduce-3 分区, 排序和合并
Hadoop(10) MapReduce-3 分区, 排序和合并分区(Partition)分区的介绍分区的作用之前我们介绍过, 每个分区对应一个ReduceTask, 如果所有MapTask的结果都由一个ReduceTask来汇总, 会很慢, 所以对MapTask的内容进行分区, 交由不同的ReduceTask来执行分区发生的时间在map()方法执行时, 会将文件写入一个临时缓存,...原创 2020-04-01 08:40:35 · 548 阅读 · 0 评论 -
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat文章目录Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormatInputFormat切片和提交的过程InputFormat介绍FileInputFormat机制及其实现类FileInputFormat介绍源码中计算大小的公式FileInputForm...原创 2020-04-01 08:38:47 · 209 阅读 · 0 评论 -
Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程
Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程文章目录Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程MapReduce的详细流程MapReduce的流程整个MapReduce详细流程MapperReducerShuffle机制的流程MapReduce的详细流程MapReduce的流程I...原创 2020-04-01 08:37:58 · 191 阅读 · 0 评论 -
Hadoop(6) HDFS详解
Hadoop(6) HDFS文章目录Hadoop(6) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成NameNode 可以理解为结群的主管DataNode 负责具体的任务执行Client 客户端配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上...原创 2020-04-01 08:37:24 · 207 阅读 · 0 评论 -
Windows下Hadoop开发环境找不到winutils.exe的解决办法
很多小伙伴在学习hadoop的时候,都是在window下进行开发的,但是这里需要注意一下,在window下开发MapReduce程序,在测试的时候,如果Hadoop的环境不是在Win下编译的环境有的小伙伴在自己下载hadoop并且搭建开发环境的时候,会发现明明已经配置好了hadoop的环境变量,但是在执行MapReduce程序的时候,还是会出现下面的错误:ERROR util.Shell: F...原创 2020-03-10 12:47:05 · 6773 阅读 · 0 评论 -
Hadoop(7) MapReduce的介绍以及编程案例
Hadoop(7)MapReduce的介绍以及编程案例文章目录Hadoop(7) MapReduce的介绍以及编程案例MapReduce介绍MapReduce的特点优点缺点MapReduce 核心过程Map阶段Reduce阶段Hadoop序列化Hadoop序列化介绍Hadoop序列化特点Hadoop序列化类型对比MapReduce编程主要流程MapperReducerDriverMapRe...原创 2020-01-23 12:21:29 · 391 阅读 · 0 评论 -
Hadoop(6) HDFS
Hadoop(六)HDFS文章目录Hadoop(六) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上传和下载的流程客户端上传文件到HDFS流程(写流程)从HDFS下载文件的流程(读流程)元数据...原创 2020-01-14 10:27:11 · 626 阅读 · 0 评论 -
Hadoop(5) 历史服务其和日志聚集的配置、集群时间同步
Hadoop(五)历史服务其和日志聚集的配置、集群时间同步的配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器配置mapred-site.xml打开mapred-site.xml,在configuration标签里面添加以下内容:<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhi...原创 2019-12-25 21:55:31 · 294 阅读 · 0 评论 -
Hadoop(4) 完全分布式搭建以及集群中免密登录的配置
Hadoop(四)完全分布式搭建以及集群中免密登录的配置文章目录Hadoop(四) 完全分布式搭建以及集群中免密登录的配置Hadoop完全分布式搭建分布式的节点分配分布式配置启动集群免密登录配置SSH协议介绍免密登录的配置集群中免密登录的简单配置一键启动Hadoop集群的配置Hadoop完全分布式搭建分布式的节点分配首先我们需要了解一下一个Hadoop集群需要哪些节点:在伪分布式我...原创 2019-12-25 16:43:08 · 1539 阅读 · 0 评论 -
Hadoop(3) Hadoop伪分布式的搭建和重复格式化namenode的问题解决
Hadoop(三)Hadoop伪分布式的搭建和重复格式化namenode的问题解决文章目录Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决Hadoop伪分布式Hadoop伪分布式介绍Hadoop伪分布式的搭建HDFS伪分布式搭建yarn伪分布式搭建重复格式化namenode产生的问题及其解决方法Hadoop伪分布式Hadoop伪分布式介绍伪分布式指...原创 2019-12-23 19:18:57 · 2056 阅读 · 0 评论 -
Hadoop(2) 单节点模式(本地模式)
Hadoop(二)单节点模式(本地模式)文章目录Hadoop(二) 单节点模式(本地模式)Hadoop单节点单节点模式介绍单节点部署单节点官方测试案例Hadoop单节点注意Hadoop的部署运行需要Java环境单节点模式介绍Hadoop 以一个 Java 进程的形态运行在非分布式模式下,这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式单节点部署修改配置文件,配...原创 2019-12-23 16:52:12 · 704 阅读 · 0 评论 -
Hadoop(1) Hadoop简介和Hadoop的安装
Hadoop(一)Hadoop简介和Hadoop的安装文章目录Hadoop(一) Hadoop简介和Hadoop的安装@[toc]Hadoop 简介Hadoop概念Hadoop的常见发行版本Hadoop的版本Hadoop的优势Hadoop的组成HDFS(存储数据)MapReduce (计算)Yarn(资源调度)Common(辅助工具)Hadoop的安装Hadoop 简介Hadoop概念...原创 2019-12-23 16:47:14 · 869 阅读 · 0 评论