- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 MapReduce和YARN的关系
YARN并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的， 可认为MRv2重用了MRv1的这些模块，不同的是资源管理和作业管理系统，MRv1中资源管理和作业管理均是由JobTracker实现的，集两个功能于一身，而在MRv2中，将这两部分分开了， 其中，作业管理由
2015-11-30 21:33:00
5880
转载 mapreduce任务失败、重试、推测式执行机制小结
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的执行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明确的是mapreduce判断任务失败的方式。三种情况下任务会被认为执行失败：返回非0值、产生java异常、超时（长时间没响应）。对于第一种，通常用于strea
2015-11-30 14:43:19
2666
转载 Linux统计某文件夹下文件、文件夹的个数
统计某文件夹下文件的个数ls -l |grep "^-"|wc -l统计某文件夹下目录的个数ls -l |grep "^ｄ"|wc -l统计文件夹下文件的个数，包括子文件夹里的ls -lR|grep "^-"|wc -l如统计/home/han目录(包含子目录)下的所有js文件则：ls -lR /home/han|grep js|wc -l 或
2015-11-29 14:32:51
814
原创 Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/
// pickup config files off classpath Configuration conf = new Configuration() // explicitely add other config files // PASS A PATH NOT A STRING! conf.addResource(new Path(“/home/hadoop/conf/cor
2015-11-23 22:31:56
1553
原创 Java GC、新生代、老年代
1、堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域：Eden、From Survivor、To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，包括内存的分配以及回收。 堆
2015-11-15 13:16:45
16388
4
原创 Hbase1.1.2采用javaAPI插入批量数据
最近在做采用javaAPI批量往Hbase插值的工作，记录一下Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFactory.createConnection();Table table = conn.getTable(TableName.valueOf("table_name"));Lis
2015-11-13 14:40:18
4703
1
原创 Hbase-1.1.2 HRegionServer全部挂掉的报错信息图片及解决办法
集群环境：三台机器，每台2g内存，安装了handoop2.2.0,Hbase1.1.2.数据源：4G的tar.gz包，里面是zip包，zip包里面是txt文件。压缩包解析、插入habse代码已经用java实现了插入habse–java代码Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFact
2015-11-08 17:05:51
1644
原创 Hbase-1.1.2完全分布式安装教程
Hbase-1.1.2完全分布式安装教程安装环境说明： 现有三台服务器，已经搭建了一个hadoop集群，master:master1,slaves:pc2,pc3。1、去官网下载Hbase的安装包，http://apache.claz.org/hbase/stable/ tar -zxvf hbase-1.1.2-bin.tar.gz 将下载的hbase安装包解压2、配置hbase2
2015-11-01 18:31:24
7210
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人