![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
麦兜仔
这个作者很懒,什么都没留下…
展开
-
[Hadoop错误]------使用completebulkload的时报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter
1.前言由于最近需要将海量的历史数据从Mysql迁移到Hbase中,所以使用了较为高效的ImportTsv和bulkload。2.问题在使用ImportTsv将数据转成HFile文件后,使用bulkload的时候报如下错误java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter3.解决通过百度知道是因为HA...原创 2019-03-14 13:26:44 · 880 阅读 · 0 评论 -
Hadoop之NameNode、SecondaryNameNode
目录1.NameNode是什么?2.NameNode做什么?3.NameNode怎么做?4.NameNode存在什么问题?5.Secondary NameNode的引入1.NameNode是什么?NameNode是一个中心服务器,负责管理文件系统的名字空间namespace以及客户端对文件的访问。2.NameNode做什么?文件系统目录树管理 数据块和数据节点...原创 2019-05-05 15:18:27 · 483 阅读 · 0 评论 -
Hadoop之MapReduce的shuffle过程
目录1.shuffle是什么?2.shuffle做什么?3.shuffle怎么做?1.shuffle是什么?shuffle是贯穿MapReduce中Map\Reduce阶段的一个操作,主要目的是为了把Map端的输出结果有效的传输到Reduce输入端2.shuffle做什么?完整的将Map端的输出结果拉取到Reduce端 在拉取数据的过程中,尽可能的减少网络传输的消耗...原创 2019-05-08 14:20:31 · 686 阅读 · 0 评论 -
Hadoop之DataNode
目录1.DataNode是什么?2.DataNode做什么?3.DataNode怎么做?1.DataNode是什么?Datanode是HDFS文件系统的工作节点,它们根据客户端或者是namenode的调度进行存储和检索数据,并且定期向namenode发送它们所存储的块(block)的列表。2.DataNode做什么?Datanode以存储数据块(Block)的形式保存H...原创 2019-05-06 17:25:25 · 2724 阅读 · 0 评论 -
Hadoop之Yarn
目录说明1.Yarn是什么?2.Yarn之ResourceManager2.1ResourceManager主要职责2.2ResourceManager主要组件2.2.1与Client交互组件2.2.2与ApplicationMaster交互组件2.2.3与NodeManager交互组件2.2.4其他核心组件2.2.5安全相关组件3.Yarn之NodeM...原创 2019-05-30 16:46:43 · 1351 阅读 · 0 评论