- 博客(13)
- 资源 (1)
- 问答 (6)
- 收藏
- 关注
原创 log4j配置单独日志文件输出
log4j.logger.batteryHistory=ERROR,BDlog4j.appender.BD=org.apache.log4j.FileAppenderlog4j.appender.BD.File=../logs/batteryDataHistory.loglog4j.additivity.BD=falselog4j.appender.BD.Append = truelog
2016-12-27 22:17:34 1487 2
原创 MapReduce(一)
分布式并行编程框架特点: MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Map和Reduce•编程容易,不需要掌握分布式并行编程细节,也可以很容易把自己的程序运行在分布式系统上,完成海量数据的计算; •MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片(split),这些分片可以被多个Map任
2016-12-19 22:33:12 1394 1
原创 Hbase操作table常见方法示例
首先上我的输出类:/** * 功能:电池历史数据数据结构 * Created by liuhuichao on 2016/12/5. */public class ResBatteryDataHistory implements Serializable { private String batteryNo; private Integer batteryType;
2016-12-14 17:44:03 2029 6
原创 HBase数据访问的一些常用方式
类型 特点 场合 优缺点分析 Native Java API 最常规和高效的访问方式 适合MapReduce作业并行批处理HBase表数据 Hbase Shell HBase的命令行工具,最简单的访问方式 适合HBase管理使用 Thrift GateWay 利用Thrift序列化技术,支持c++,PHP,Python等多种语言 适合其他
2016-12-11 21:24:06 5077 4
原创 HBase的Rowkey设计(mark)
在HBase中细节上的设计,最最最重要的就是我该选取什么做Rowkey,Rowkey的选择,最直接的影响就是对你之后分析数据的影响了。 Rowkey是不可分割的字节数,按照字典排序由低到高存储在表中。一个空的数组用来标识表空间的起始或结尾。 在设计HBase表时,Rowkey设计是最重要的事情,应该基于预期的访问模式来为Rowkey建模。Ro...
2016-12-11 11:42:09 1340 2
原创 HBase数据模型的一些概念
首先来先理解一个概念:HBase是一种列式存储的分布式数据库。表 在HBase中数据以表的形式存储。使用表的主要原因是把某些列组织起来一起访问,同一个表中的数据通常是相关的,通过列族进一步把一些列组织起来一起访问。用户可以通过命令行或者Java API来创建表。表明通常使用Java Stirng 类型或者byte数组表示,表名作为HDFS存储路径的一部分来使用,因此必须要符
2016-12-10 21:40:02 1206 1
原创 HBase数据结构(读书笔记 )
背景: 最近在做一些跟大数据相关的东西,涉及到数据的存储和分析,考虑各个方面,选择使用HBase进行存储,使用原生Java API进行数据分析,之后会陆续写一系列来说明最近做的东西,给像我这样未曾涉及过这个领域的人一点儿idea。引言: HBase以表的方式组织数据源,这一点跟关系型数据库时一样的,在我们的application里面,通过API/Thrift、或者各种SQL引擎,将
2016-12-10 21:16:16 1126 2
原创 HBase常用命令汇总——综述(一)
hbase(main):009:0> helpHBase Shell, version 1.2.4, r67592f3d062743907f8c5ae00dbbe1ae4f69e5af, Tue Oct 25 18:10:20 CDT 2016Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for
2016-12-08 17:11:31 1022
原创 HBase核心功能模块--读书笔记
客户端Client 客户端 Client 是整个 HBase 系统的入口。使用者直接通过客户端操作 HBase。客户端使用 HBase 的 RPC 机制与 HMaster 和 RegionServer进行通信。对于管理类操作,Client 与HMaster 进行 RPC 通信;对于数据读写类操作,Client 与RegionServer 进行 RPC 交互。这里客户端可以是多个,并不限定是原生 J
2016-12-08 15:59:34 1338
原创 Why HBase
3.1.1,为什么选用HBasesa) 容量巨大HBase 的单表可以有百亿行、百万列,数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。传统的关系型数据库,如 Oracle 和 MySQL 等,如果数据记录在亿级别,查询和写入的性能都会呈指数级下降,所以更大的数据量级对传统数据库来讲是一种灾难。而 HBase 对于存储百亿、千亿甚至更多的数据都不存在任何问题。对于高维数据,百万
2016-12-08 10:34:56 770
原创 HBase——使用Put迁移MySql数据到Hbase
先上code:/** * 功能:迁移mysql上电池历史数据到hbase * Created by liuhuichao on 2016/12/6. */public class MySqlToHBase { /** * 获取表 * @param tableName * @return * @throws IOException
2016-12-06 16:05:21 1058 1
原创 使用Java Api 对HBase进行简单操作
/** * 功能:测试Hbase基本的增删改查操作 * Created by liuhuichao on 2016/12/5. */public class HbaseCRUDTest { public static Configuration configuration; static{ configuration= HBaseConfiguration
2016-12-06 09:45:33 1223
原创 Hbase单机安装及使用hbase shell进行简单操作
一,配置环境变量在etc/prifile中加入java环境变量及hbase环境变量:#set java environmentJAVA_HOME=/usr/local/lhc/jdk1.8.0_111PATH=$JAVA_HOME/bin:$PATHCLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jarexport PATH JA
2016-12-05 15:41:11 950 1
假装美少女战士
2021-06-29
Hbase连接报错RpcRetryingCaller
2016-12-22
REST ful api发布到linux报错404
2016-03-29
安卓平板安卓ubunt系统
2016-03-13
安卓ListView如何遍历每个Item保存我每条上添加的数据
2015-10-26
使用bootstrap的一个东西,然后下报出这样一个错误,怎么改写代码才行?()
2015-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人