![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
L.ZZ
这个作者很懒,什么都没留下…
展开
-
Hbase 出现 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 错误
1. 错误描述ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet at org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2372) at org.apach...原创 2019-02-27 14:16:45 · 6160 阅读 · 1 评论 -
HDFS的读写原理
1. 简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。运行在廉价的机器上。适合大数据的处理。多大?多小?HDFS默认会...转载 2019-02-27 14:14:03 · 4325 阅读 · 0 评论 -
HDFS原理初探
1. HDFS简介HDFS:Hadoop Distributed File System(hadoop分布式文件系统)分布式,感觉好厉害的样子啊,有网络文件系统,有本地文件系统,现在又多了一个分布式的文件系统。之所以是要分布式,是数据要放到多个主机上面去。放的东西在集群中,就是分布式啦!想要了解这个东东,先找一张原理图瞅瞅。2. HDFS 1.0每个一学习的模块要搞懂一个点内容,学完这...转载 2019-02-27 14:14:19 · 153 阅读 · 0 评论 -
HDFS负载均衡
1. 前言HDFS的数据可能并不总是被均匀的置于所有的DataNode中,最常见的原因是向一个已经存在的集群添加一个新的节点。当放置新的块时(块:一个文件的数据会被存储为一系列的块)。NameNode 在选择DataNode节点存储这些块之前会考虑多方面参数。一些注意事项如下:策略保证一个块的其中之一个副本在同一个节点(这个节点是块写的节点)需要将一个块的副本分配到不同的机架上 ,这样可以...转载 2019-02-27 14:14:26 · 1113 阅读 · 0 评论 -
Hbase regions在RegionServer上迁移原理解析
1. 前言当Hbase集群中某个RegionServer挂掉之后,Hbase是如何把这台server上的regions迁移到其它的RegionServer上的呢?要弄清楚这个问题,首先要了解Hbase中Region的寻址机制,在此基础上来理解regions在RegionServer之间迁移的原理。2. Region 寻址机制在Hbase中,读写操作都在 RegionServer 上发生,每个...原创 2019-02-27 14:17:41 · 3283 阅读 · 1 评论 -
关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath的报错问题
1. job.setOutputFormatClass(TextOutputFormat.class)# TextOutputFormat的为新的API中org.apache.hadoop.mapreduce.lib.output.TextOutputFormatjob.setOutputFormatClass(TextOutputFormat.class);2.FileOutputF...原创 2019-02-27 11:26:24 · 1806 阅读 · 2 评论 -
hadoop任务优化-调整Yarn队列资源
集群环境: chd5-2.5.2 我们集群使用的是FailScheduler,如果队列参数设置不合理,会直接影响到任务执行的快慢。队列设置不合理 举例如下: 现状:该队里minshare设置的过小,同时起的任务太多 导致的问题:该队列中平均每个任务分的资源比较少,任务跑的特别慢,同时,任务之间会相互抢占container 比如下面的任务,跑了30多个小时,还没跑完看一下任务详情...转载 2019-02-27 11:37:53 · 1295 阅读 · 1 评论