2016年12月_水田如雅

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 log4j配置单独日志文件输出

log4j.logger.batteryHistory=ERROR,BDlog4j.appender.BD=org.apache.log4j.FileAppenderlog4j.appender.BD.File=../logs/batteryDataHistory.loglog4j.additivity.BD=falselog4j.appender.BD.Append = truelog

2016-12-27 22:17:34 1487 2

原创 MapReduce(一)

分布式并行编程框架特点： MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算； •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任

2016-12-19 22:33:12 1394 1

原创 Hbase操作table常见方法示例

首先上我的输出类：/** * 功能：电池历史数据数据结构 * Created by liuhuichao on 2016/12/5. */public class ResBatteryDataHistory implements Serializable { private String batteryNo; private Integer batteryType;

2016-12-14 17:44:03 2029 6

原创 HBase数据访问的一些常用方式

类型特点场合优缺点分析 Native Java API 最常规和高效的访问方式适合MapReduce作业并行批处理HBase表数据 Hbase Shell HBase的命令行工具，最简单的访问方式适合HBase管理使用 Thrift GateWay 利用Thrift序列化技术，支持c++,PHP,Python等多种语言适合其他

2016-12-11 21:24:06 5077 4

原创 HBase的Rowkey设计（mark）

在HBase中细节上的设计，最最最重要的就是我该选取什么做Rowkey，Rowkey的选择，最直接的影响就是对你之后分析数据的影响了。 Rowkey是不可分割的字节数，按照字典排序由低到高存储在表中。一个空的数组用来标识表空间的起始或结尾。在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Ro...

2016-12-11 11:42:09 1340 2

原创 HBase数据模型的一些概念

首先来先理解一个概念：HBase是一种列式存储的分布式数据库。表在HBase中数据以表的形式存储。使用表的主要原因是把某些列组织起来一起访问，同一个表中的数据通常是相关的，通过列族进一步把一些列组织起来一起访问。用户可以通过命令行或者Java API来创建表。表明通常使用Java Stirng 类型或者byte数组表示，表名作为HDFS存储路径的一部分来使用，因此必须要符

2016-12-10 21:40:02 1206 1

原创 HBase数据结构（读书笔记）

背景：最近在做一些跟大数据相关的东西，涉及到数据的存储和分析，考虑各个方面，选择使用HBase进行存储，使用原生Java API进行数据分析，之后会陆续写一系列来说明最近做的东西，给像我这样未曾涉及过这个领域的人一点儿idea。引言： HBase以表的方式组织数据源，这一点跟关系型数据库时一样的，在我们的application里面，通过API/Thrift、或者各种SQL引擎，将

2016-12-10 21:16:16 1126 2

原创 HBase常用命令汇总——综述（一）

hbase(main):009:0> helpHBase Shell, version 1.2.4, r67592f3d062743907f8c5ae00dbbe1ae4f69e5af, Tue Oct 25 18:10:20 CDT 2016Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for

2016-12-08 17:11:31 1022

客户端Client 客户端 Client 是整个 HBase 系统的入口。使用者直接通过客户端操作 HBase。客户端使用 HBase 的 RPC 机制与 HMaster 和 RegionServer进行通信。对于管理类操作，Client 与HMaster 进行 RPC 通信；对于数据读写类操作，Client 与RegionServer 进行 RPC 交互。这里客户端可以是多个，并不限定是原生 J

2016-12-08 15:59:34 1338

原创 Why HBase

3.1.1,为什么选用HBasesa) 容量巨大HBase 的单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。传统的关系型数据库，如 Oracle 和 MySQL 等，如果数据记录在亿级别，查询和写入的性能都会呈指数级下降，所以更大的数据量级对传统数据库来讲是一种灾难。而 HBase 对于存储百亿、千亿甚至更多的数据都不存在任何问题。对于高维数据，百万

2016-12-08 10:34:56 769

原创 HBase——使用Put迁移MySql数据到Hbase

先上code:/** * 功能：迁移mysql上电池历史数据到hbase * Created by liuhuichao on 2016/12/6. */public class MySqlToHBase { /** * 获取表 * @param tableName * @return * @throws IOException

2016-12-06 16:05:21 1058 1

原创使用Java Api 对HBase进行简单操作

/** * 功能：测试Hbase基本的增删改查操作 * Created by liuhuichao on 2016/12/5. */public class HbaseCRUDTest { public static Configuration configuration; static{ configuration= HBaseConfiguration

2016-12-06 09:45:33 1223

原创 Hbase单机安装及使用hbase shell进行简单操作

一，配置环境变量在etc/prifile中加入java环境变量及hbase环境变量：#set java environmentJAVA_HOME=/usr/local/lhc/jdk1.8.0_111PATH=$JAVA_HOME/bin:$PATHCLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jarexport PATH JA

2016-12-05 15:41:11 950 1