2013年12月_我叫阿狸猫

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop的规约操作Combiner(规约) 步骤1.5

问：为什么使用Combiner？答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。问：为什么Combiner不作为MapperReduce运行的标配，而是可选步骤呢？答：因为不是所有的算法都适合使用Combiner处理，例如求平均数。问：Combiner本身已经执行了reduc

2013-12-31 14:36:40 1405

原创 hadoop命令行中自定义计数器

/** * 缩进较短的称为计数器组 * 缩进较长的称为计数器组下的计数器*/hello youhello meCounters: 19 File Output Format Counters Bytes Written=19 //写出去多少字节 FileSystemCounters //包含HDFS系统文件 (所以略) FIL

2013-12-31 14:11:30 741

原创 hadoop老API(基于统计单词数的例子)

Mapper类import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.MapReduceBase;import org.apache.hadoop.mapred.Mapper;

2013-12-31 11:03:04 806

原创 hadoop命令行中自定义计数器

public class MyReducer extends Reducer { protected void reduce(Text k2, Iterable v2s, Context context) throws IOException, InterruptedException { /** * 自定义计数器 * 当key值出现hello时,就加1 *

2013-12-22 23:36:49 1167 1

原创将hadoop程序打成jar包,在linux下以命令行方式运行(例如单词计算程序)

自定义Mapperimport java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;/** * Mapper(指的是泛型) * KEYIN 即k1

2013-12-22 22:59:28 3246

原创 hadoop的map和reduce任务的执行步骤

一共8个步骤:1. map任务处理1.1 读取hdfs中的文件。每一行解析成一个。(每一个键值对调用一次map函数)1.2 覆盖map()，接收1.1产生的，进行处理，转换为新的输出1.3 对1.2输出的进行分区。默认分为1个区。1.4 对不同分区中的数据进行排序(按照k)、分组。分组指的是相同key的value放到一个集合中。1.5 (可选)对分组后的数据进行规约

2013-12-22 14:45:29 2867

原创 java基本类型与Hadoop常见基本类型的对照

JAVA HADOOPLong LongWritableInteger IntWritableBoolean BooleanWritableString Text问：java类型如何转化为hadoop基本类型？答：调用hadoop类型的构造方法，或者调用set()方法。new LongWritable(123L);问：ha

2013-12-20 15:08:19 1098

原创 hadoop中job提交的源码分析

下面这幅图说明了new JobClient()的时候,完成了连接到服务端,并且获得一个服务端的代理对象操作。服务端就是JobTracker,因为这个类是用来接收客户端提交的计算任务。第三幅图con.get("mapred.job.tracker","local")表示从配置文件中读取name为mapred.job.tracker的属性,如果属性读取不到则默认为local这个配置文件是cd

2013-12-20 00:25:23 899

原创 Hadoop Reducer类中的reduce方法不执行的原因

Reducer类中的reduce方法覆写时需要注意:Eclipse快捷键覆写这个方法的时候,Context的类型是org.apache.hadoop.mapreduce.Reducer.Context,而如果去掉@Override标签,就不会报错误,直接导致reduce这个方法就不会调用了,正确的应该如下图

2013-12-19 22:21:58 4779

原创 hadoop介绍

1.hadoop的核心分为(1)HDFS：Hadoop Distributed File System分布式文件系统(2)MapReduce：并行计算框架。2.HDFS的架构主从结构：主节点,只有一个:namenode 从节点,有很多个:datanodesnamenode负责：接收用户操作请求

2013-12-17 23:53:30 708

原创 Linux常用命令

1.pwd:显示当前路径2.cd:切换目录一个. (当前目录) 两个..(上级目录) ~(根目录)3.ls:显示文件和文件夹4.ls -l显示详细信息5.ls -a 显示全部,包括隐藏文件和文件夹6.mkdir:在当前目录下创建文件夹7.mkdir -p递归创建文件夹例如d1/d2/d3/d4/d58.touch:创建空白文件9.echo:显示一个

2013-12-13 23:57:06 888

原创当Spring正确配置注解后还出现NoSuchBeanDefinitionException

这里后就要去检查applicationContext.xml文件中的类扫描的注解解析器,检查是否扫描到了要被实例化的包。

2013-12-10 20:29:29 2777

原创第五章(继承)

1.有些人认为super与this引用是类似的概念,实际上,这样比较并不太恰当。这是因为super不是一个对象的引用,不能将super赋给另一个对象变量,它只是一个指示编译器调用超类方法的特殊关键字。(p145)2.如果子类的构造器没有显示地调用超类的构造器,则将自动地调用超类默认(没有参数)的构造器。如果超类没有不带参数的构造器,并且在子类的构造器中又没有显示地调用超类的其他构造器,则Jav

2013-12-05 23:26:45 929

原创第四章(对象与类)

1.面向对象程序设计(简称OOP) (p87)2.在类之间,最常见的关系有 (1)依赖:uses-a (2)聚合:has-a (3)继承:is-a (p90)3.类库设计者决定将保存时间与给时间点命名分开。所以标准Java类库分别包含了两个类：一个是用来表示时间点的Date类;另一个是用来表示大家熟悉的日历表示法的GregorianCalendar类。(p94)public

2013-12-05 22:19:30 607

原创第三章(JAVA基本的程序设计结构)

1.double表示这种类型的数值精度是float类型的两倍(有人称之为双精度数值)。绝大部分应用程序都采用double类型。(p23)2.float类型的数值有一个后缀F(例如,3.402F)。没有后缀F的浮点数值(如3.402)默认为double类型。当然,也可以在浮点数值后面添加后缀D(例如,3.402D)。(p33)3.由于&&的优先级比||的优先级高,所以表达式 a&&b||

2013-12-05 00:17:34 693

原创 spring_day2

使用注解的命名空间:

2013-12-04 17:13:05 614

原创 Spring In Action

1.注入内部bean,也就是说这个bean不是所有类都可以引用的。 2.使用Spring的命名空间p装配属性:使用元素为Bean的属性装配值和引用并不太复杂。尽管如此,Spring的命名空间p提供了另一种Bean属性的装配方式,该方式不需要配置如此多的尖括号。命名空间p的schema URI为xmlns:p="http://www.springframewo

2013-12-03 14:13:21 797