- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux下Ant编译Hadoop-eclipse-plugin-2.x.x.jar插件
一、介绍因为一开始想做关于MapReduce任务的远程提交，在这个过程中有幸试验了Hadoop2.x 版本的eclipse 插件的编译方法，这里总结一下，方便新手学习二、过程1、
2016-03-31 15:34:08
1508
原创 提交MapReduce任务时，Ecplise自动生成Jar包
一、介绍上一届中提到了任务提交到Hadoop集群中的方法，但是最后一节时因为需要将jar包提交给hadoop集群，因此需要用户收到配置一个Export 一个任务的jar包，并在MapReduce任务的Main函数中指定。这里讲如何设置ecplise自动生成一个jar包。需要的工具是ant与ecplise的配合使用二、详解1、ant安装从这里下载ant的安装包，下载完成后，将ant解
2016-03-31 11:04:04
1252
原创 Eclipse远程提交MapReduce任务到Hadoop集群
一、介绍以前写完MapReduce任务以后总是打包上传到Hadoop集群，然后通过shell命令去启动任务，然后在各个节点上去查看Log日志文件，后来为了提高开发效率，需要找到通过Ecplise直接将MaprReduce任务直接提交到Hadoop集群中。该章节讲述用户如何从Eclipse的压缩包最终完成Eclipse提价任务给MapReduce集群。二、详解1、安装Eclipse，安装
2016-03-30 21:01:35
6583
2
原创 HBase总结（11）--观察者模式
一、介绍上一届简单介绍了协处理器的主要功能以及相应的特点，但没有对写出器的具体内容作出详细的解释。这篇文章解释了协处理器的观察者模式。观察者模式就是提供了一个触发器，用户通过集成相应的类（BaseRegionObverser等），重写其中想要实现的方法，然后将协处理器加载到表中，这是表就会通过协处理器“监听”用户预先设置的动作，一旦该动作被执行，用户所写的钩子函数就被触发，然后就能实现相应的功
2016-03-21 20:26:57
929
原创 HBase总结（10）--协处理器
一、介绍Hbase作为列存储的数据库，很多关于统计的函数没有直接快速的计算，因此HBase提供了协处理器的功能，协处理提供了用户在region服务器端插入自己的代码，从而实现特定功能的权利。通过用户自写的协处理器，用户可以创建二级索引、完成行数量的统计等功能。二、解释1、协处理器的分类：协处理器主要分为两类：观察者模式（obverser）和终端（endpoint）两种，这两种写出器
2016-03-18 21:35:57
701
原创 HBase总结（9）--计数器
一、介绍如果在HBase中使用某一行的值进行Put操作进行计数器功能，为了保证原子性操作，必然会导致一个客户端对计数器所在行的资源占有，如果在大量进行计数器操作时，则会占有大量资源，并且一旦某一客户端崩溃，将会使得其他客户端进入长时间等待。HBase中定义了一个计数器来完成用户的技术操作，并且防止资源占有问题，并且也保证其原子性。二、解释1、创建计数器在HBase中，HBase将某
2016-03-16 20:40:17
3682
原创 HBase总结（8）--附加过滤器、FilterList
一、介绍本节介绍HBase提供的最后两种过滤器，并且也介绍多个过滤器配合使用的方法。二、详解1、附加过滤器（1）跳转过滤器：SkipFilter(Filter filter)该过滤器的参数为一个过滤器。该过滤器的作用为：当参数中的过滤器过滤一个某一个KeyValue对象时，则跳转过滤器会将整行的数据进行过滤。public void example(String tabl
2016-03-14 20:02:54
2754
原创 HBase总结（7）--专用过滤器
一、介绍除了上述介绍的比较过滤器以外，hbase还提供了许多专门用于一些特殊场景的过滤器，这样的过滤器叫做专用过滤器二、例子1、单列值过滤器：SingleColumnValueFilter该过滤器用在用用户指定的某一类来过滤一行，即如果某一行的指定列的最大版本的数据不符合条过滤器条件时，整行数据将要被过滤掉。该过滤器有两个构造函数：（1）SingleColumnValueF
2016-03-09 20:36:13
2940
原创 HBase总结（6）--比较过滤器
一、介绍比较过滤器是一种专门的用于比较的过滤器，通过实现比较运算符与比较器，来实现用户的需求二、详解1、行过滤器该种过滤器主要对行值（row）进行过滤，不符合条件的row的行将要被过滤掉。public void testRowFilter(String tableName,CompareOp compareOp,ByteArrayComparable compare) {
2016-03-08 13:44:43
2000
原创 HBase总结（5）--过滤器介绍
一、介绍HBase过滤器是一套为完成一些较高级的需求所提供的API借口。从过滤器的名称我们就可以看出：过滤器就是对数据库获取的数据进行过滤，将符合条件的数据返回客户端，从而减少从region服务器想客户端发送的数据，从而减少数据传输，提高效率。二、解释1、过滤器体系HBase已经提供了很多完成的过滤器，通过这些过滤器我们已经可以实现自己所需要的绝大多数功能，但同时HBase提供了
2016-03-07 13:29:07
1296
原创 HBase总结（4）--数据扫描与Scan对象
一、介绍Put、Delete与Get对象都是Row的子类，从该继承关系中我们就可以了解到Get、Delete与Pu对象本身就只能进行单行的操作，HBase客户端还提供了一套能够进行全表扫描的API，方便用户能够快速对整张表进行扫描，以获取想要的结果---scan二、流程介绍全表扫描是一种不需要行键值的操作，因此初始化时不需要指定行键值，因此就产生了不同的使用方法1、不进行Scan对
2016-03-05 15:01:06
15383
原创 HBase总结（3）--数据删除与Delete对象
一、介绍本章的删除与前两节的数据添加(Put)和数据查询（Get）的使用方法基本上是相同的，只不过要介绍一下在进行删除过程中一些需要注意的地方。二、过程介绍Delete删除的过程分为单行删除、多行删除与原子性操作1、单行删除HBase的删除并不像传统关系型数据库的删除，HBase删除动作并不会立刻将HBase存储的数据进行删除，而是心在制定的KeyValue存储单元上打上删除标
2016-03-05 11:49:45
16466
原创 HBase总结（2）--数据查询与Get对象
一、介绍在HBase客户端的API中提供了两种从服务器端获取数据的方式。Get行获取和Scan扫描表的方式。下面就简单介绍一些使用Get获取数据时的使用方法二、数据获取Get数据的获取与上节Put数据插入一样，分为多种使用方式。1、单行获取：get(Get get)单行获取每次RPC请求值发送一个Get对象中的数据，因为Get对象初始化时需要输入行键，因此可以理解为一个Get对
2016-03-04 11:42:36
9901
1
原创 HBase总结（1）-- 数据插入与Put对象
一、介绍HBase的客户端包中集中了CURD操作，用户可以通过其中不同种类的API尽心CURD操作。HBase数据插入使用Put对象，Put对象在进行数据插入时，首先会想Hbase集群发送一个RPC请求，得到响应后将Put类中的数据通过序列化的方式传给HBase集群，集群节点拿到数据后进行添加功能。二、数据插入详解HBase客户端拥有多重方式进行数据插入，通过调整不同的属性从而实现
2016-03-03 19:59:36
38248
2
DHTMLX 5 CHM API文档
2016-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人