mbshqqb的博客

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。1、hadoop-root-datanode-master.log 中有如下错误：E

2、为eclipse配置hadoop开发环境（1）安装hadoop插件下载hadoop在eclipse下的插件，我的插件是：hadoop-eclipse-plugin-1.2.1.jar，下载地址：http://download.csdn.net/detail/chenyuangege/8709267 ，注意这个插件的版本号要和你安装的hadoop版本号相对应，比如我这里安装的hado

Hadoop中常见的错误：先将所有的临时目录的权限设置成a+w,错误一：mbshqqb@mbshqqb:~/hadoop/temp$ hdfs namenode format17/01/29 23:43:54 INFO namenode.NameNode: STARTUP_MSG: /***********************************************

在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。　　关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可

在使用 Alter语句修改Hive分区表结构的时候，会出现已存在的分区结构没有被修改的情况。比如说，新增了一个字段，但是向原有分区插入新增字段数据之后，查询却发现数据为 NULL，或者修改了一个字段类型，查询原有分区的时候发现数据没有被正确识别。 之所以会出现这种情况，是因为 Hive对应分区表表结构的修改，默认采用了限制模式。限制模式下，修改分区表结构的时候，只会对修改后新增的分

1、MapReduce中数据流动   （1）最简单的过程：  map - reduce   （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce   （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce2、Mapred

http://www.aboutyun.com/thread-7078-1-1.htmlhttp://www.aboutyun.com/thread-7040-1-1.htmlhttp://www.aboutyun.com/forum.php?mod=viewthread&tid=7704&highlight=%BF%E7

combiner    combiner可以选择的，也是一种reduce操作，所以我们在看代码的时候可以使用： job.setCombinerClass(IntSumReducer.class);Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作。reduce计算前对相同的key做一个合并操作，那么