chenzhikaida-CSDN博客

翻译 HBase MapReduce集成

HBase MapReduce案例HBase MapReduce Read 案例下面是一个关于在只读模式中使用hbase作为mapreduce输入的案例。特别的是，那是一个只有mapper实例但没有reducer，并且没有任何来自mapper输出。job定义如下…Configuration config = HBaseConfiguration.create();Job job = new Job

2015-10-30 18:24:18 757

原创 ozzie配置和example

修改core-site.xml属性 hadoop.proxyuser.beifeng.hosts hadoop-senior.ibeifeng.com hadoop.proxyuser.beifeng.groups beifeng oozie-site.xml属性 oozie.service.HadoopAcce

2015-10-30 15:27:56 1249

原创学习资料的收集

mavenhttp://www.tuicool.com/articles/Ef6R73a

2015-10-28 13:59:57 447

原创 hbase api

搭建配置环境导入所需要的三个配置文件检查包导出的路径 hbase api简单实用 hbase api的CURD操作代码片段整合mapreduce 在使用bin/yarn jar jar包的时候，hadoop会自动加载所需依赖的jar包。但是在整合hbase时，不会自动导入hbase所需要的依赖jar包，在运行hbase整合mapreduce的时候，要手动添加。命令如下：$ bin/

2015-10-28 12:09:15 1155

原创 hbase优点与数据检索流程

hbase优点 hbase是一个列式存储的非关系型数据库，依赖于zookeeper。数据存储于hdfs上，主节点是HMaster，从节点是HRegionServer.hbase与关系型数据库相比较优点如下：1. hbase数据存储于hdfs上，可扩展性强。数据条目数可以存储上一条。2. 通过rowkey检索数据，速度可以准实时，达到秒级别。3. 写数据非常快，只要写在Region的mem

2015-10-27 14:33:44 2462

转载 hive join原理

Common Join最为普通的join策略，不受数据量的大小影响，也可以叫做reduce side join ,最没效率的一种join 方式. 它由一个mapreduce job 完成.首先将大表和小表分别进行map 操作, 在map shuffle 的阶段每一个map output key 变成了table_name_tag_prefix + join_column_value

2015-10-26 15:05:29 744

原创 mapreduce运行的5个阶段

mapreduce shuffle运行过程

2015-10-26 13:17:21 26131

转载 Apache common-io用户指南

用户指南Commons-io 包含utility classes,endian classes,line iterator,file filters,file comparators 以及stream implementations.如果像要更多详细描述，请查阅javadocs.Utility 类库IOUtilsIOUtils 包含处理阅读、写作

2014-10-23 08:38:26 526

转载 Apache common-fileupload用户指南

使用FILE UPLOADFile Upload有很多不同的使用方式，取决于你的应用程序，最简单的方式是使用一个单独的方法来转换servlet请求,然后处理这些像你的应用发出请求的项。在另一个面，你可能需要决定对哪个项执行完全控制以保存它。比如：你可能会决定把内容保存到数据库中。这里，我们将描述File Upload的原理，并举例说明一些较为简单－－最常使用的模式，关于File U

2014-10-23 08:36:58 417