- 博客(4)
- 收藏
- 关注
RSS订阅转载 NameNode内存溢出和DataNode请求超时异常处理
问题背景 春节假期间，接连收到监控程序发出的数据异常问题，赶忙连接上跳板机检查各服务间的状态，发现Datanode在第二台、第三台从节点都掉线了，通过查看Datanode和Namenode运行日志，发现了问题所在，记录下这次惊心的处理过程，供参考。 问题描述 Namonode主节点运行时报出内存溢出的问题，截取运行日志如下： java.lang.OutOfMe...
2019-03-12 15:33:00
718
转载 hadoop日常维护之问题解决01
执行hadoop任务遇到的问题： Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/rec_new2.db/user_session/.hive-staging_hive_2017-12-10_08-22-41_311_433981385515...
2017-12-15 15:05:00
270
转载 MapReduce详解及shuffle阶段
hadoop1.x和hadoop2.x的区别： Hadoop1.x版本： 内核主要由Hdfs和Mapreduce两个系统组成，其中Mapreduce是一个离线分布式计算框架，由一个JobTracker和多个TaskTracker组成。 JobTracker的主要作用：JobTracker是框架的中心，接收任务，计算资源，分配资源，分配任务，与DataNode进行交流等功能。...
2017-08-29 09:42:00
237
转载 【NoSql】之Hbase
Hbase概述 · Hbase是构建在hdfs上的分布式列式存储系统 · Hbase内部管理的文件全部存储在HDFS上面， · Hbase是基于google bigtable 模型开发的，典型的noSql-KeyValue数据库； · Hbase是hadoop生态系统中的重要一员，主要用于海量结构化数据的存储； · 从逻辑上讲，Hbase将数据按照表，行和列进行存储 ...
2017-08-28 09:53:00
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人