![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 59
array020
这个作者很懒,什么都没留下…
展开
-
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。 参考这个贴:http://blog.csdn.net/wf1982/article/details/7551100原创 2015-01-04 16:16:34 · 367 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点: a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行: 1 2 3 cd ...原创 2012-07-09 16:58:30 · 118 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.csdn.net/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs...原创 2012-07-09 15:45:25 · 248 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息 如果NameNode挂了,也就意味着整个Hadoop集群也就完了 所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点 1. 在hdfs-site.x...原创 2012-07-08 00:02:40 · 121 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难) 测试前: master.hadoop: 248 secondaryname.hadoop: 106 slave104.hadoop: 104 slave110.hadoop: 110 slave250.hadoop: 25...原创 2012-07-08 00:01:41 · 110 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的 时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno...原创 2012-07-07 23:56:33 · 107 阅读 · 0 评论 -
【转】hadoop出现元数据不能更新且SNN合并失效
今天碰到这个问题,郁闷,具体原因未知。 参考这个贴:http://blog.csdn.net/wf1982/article/details/7551100原创 2012-10-25 17:34:24 · 92 阅读 · 0 评论 -
【转】Hadoop集群的NameNode的备份
原文链接:http://www.tech126.com/tag/secondary-namenode/ Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息 如果NameNode挂了,也就意味着整个Hadoop集群也就完了 所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点 1. 在hdfs-site.x原创 2015-01-04 16:15:09 · 2953 阅读 · 0 评论 -
【转 】Hadoop datanode添加与删除
出处:http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点: a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行: 1 2 3 cd原创 2015-01-04 16:15:33 · 4234 阅读 · 0 评论 -
【转】hbase导入工具Import介绍
博客地址:http://www.oratea.net hbase-0.94.0有效,HBase权威指南上的介绍过时。 通过Import可以将Export的文件重新导回表中。 语法为: $ bin/hbase org.apache.hadoop.hbase.mapreduce.Import 下面我们将上次导出的表sunwg01的文件导入到表sunwg03中 导入命令为:原创 2015-01-04 16:15:15 · 659 阅读 · 0 评论 -
【转】hbase导出工具Export介绍
博客地址:http://www.oratea.net hbase-0.94.0有效,HBase权威指南上的介绍过时。 可以通过Export工具将hbase中的表的数据导到hhdfs上 语法为: bin/hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]] 下面拿表sunwg01做测试 hbase or原创 2015-01-04 16:15:21 · 1333 阅读 · 0 评论 -
【转】Hadoop 操作备忘
原文链接:http://blog.falood.me/2012/01/hadoop.html DateNode 测试(添加、删除、灾难) 测试前: master.hadoop: 248 secondaryname.hadoop: 106 slave104.hadoop: 104 slave110.hadoop: 110 slave250.hadoop: 25原创 2015-01-04 16:15:03 · 515 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先: 建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml dfs.host原创 2015-01-04 16:15:39 · 569 阅读 · 0 评论 -
【转】修改hadoop的备份系数dfs.replication
出处:http://blog.csdn.net/awayyao/article/details/7616057 Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs原创 2015-01-04 16:15:27 · 3459 阅读 · 0 评论 -
【转】配置secondary namenoded【有过教训了】
原文地址:http://heipark.iteye.com/blog/1074476 secondary namenoded 配置很容易被忽视,如果jps检查都正常,大家通常不会太关心,除非namenode发生问题的 时候,才会想起还有个secondary namenode,它的配置共两步: 集群配置文件conf/master中添加secondarynameno原创 2015-01-04 16:14:57 · 774 阅读 · 0 评论 -
【转】hadoop 添加删除datanode及tasktracker
出处不详: hadoop 添加删除datanode及tasktracker 首先: 建议datanode和tasktracker分开写独立的exclude文件,由于一个节点即可以同时是datanode和tasktracker,也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml <proper...原创 2012-07-09 17:11:13 · 85 阅读 · 0 评论