- 博客(8)
- 资源 (1)
- 收藏
- 关注
转载 MapReduce和YARN的关系
YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了, 其中,作业管理由
2015-11-30 21:33:00 5880
转载 mapreduce任务失败、重试、推测式执行机制小结
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明确的是mapreduce判断任务失败的方式。三种情况下任务会被认为执行失败:返回非0值、产生java异常、超时(长时间没响应)。对于第一种,通常用于strea
2015-11-30 14:43:19 2668
转载 Linux统计某文件夹下文件、文件夹的个数
统计某文件夹下文件的个数ls -l |grep "^-"|wc -l统计某文件夹下目录的个数ls -l |grep "^d"|wc -l统计文件夹下文件的个数,包括子文件夹里的ls -lR|grep "^-"|wc -l如统计/home/han目录(包含子目录)下的所有js文件则:ls -lR /home/han|grep js|wc -l 或
2015-11-29 14:32:51 815
原创 Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/
// pickup config files off classpath Configuration conf = new Configuration() // explicitely add other config files // PASS A PATH NOT A STRING! conf.addResource(new Path(“/home/hadoop/conf/cor
2015-11-23 22:31:56 1553
原创 Java GC、新生代、老年代
1、堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区域:新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域:Eden、From Survivor、To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象,包括内存的分配以及回收。 堆
2015-11-15 13:16:45 16390 4
原创 Hbase1.1.2采用javaAPI插入批量数据
最近在做采用javaAPI批量往Hbase插值的工作,记录一下Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFactory.createConnection();Table table = conn.getTable(TableName.valueOf("table_name"));Lis
2015-11-13 14:40:18 4703 1
原创 Hbase-1.1.2 HRegionServer全部挂掉的报错信息图片及解决办法
集群环境:三台机器,每台2g内存,安装了handoop2.2.0,Hbase1.1.2.数据源:4G的tar.gz包,里面是zip包,zip包里面是txt文件。压缩包解析、插入habse代码已经用java实现了插入habse–java代码Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFact
2015-11-08 17:05:51 1644
原创 Hbase-1.1.2完全分布式安装教程
Hbase-1.1.2完全分布式安装教程安装环境说明: 现有三台服务器,已经搭建了一个hadoop集群,master:master1,slaves:pc2,pc3。1、去官网下载Hbase的安装包,http://apache.claz.org/hbase/stable/ tar -zxvf hbase-1.1.2-bin.tar.gz 将下载的hbase安装包解压2、配置hbase2
2015-11-01 18:31:24 7210 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人