大数据相关
coci曹
这个作者很懒,什么都没留下…
展开
-
元数据(MetaData)的简单理解
元数据是用来描述数据的数据(Data that describes other data)。单单这样说,不太好理解,我来举个例子。下面是契诃夫的小说《套中人》中的一段,描写一个叫做瓦莲卡的女子:(她)年纪已经不轻,三十岁上下,个子高挑,身材匀称,黑黑的眉毛,红红的脸蛋--一句话,不是姑娘,而是果冻,她那样活跃,吵吵嚷嚷,不停地哼着小俄罗斯的抒情歌曲,高声大笑,动不动就发出一连串响亮转载 2016-03-21 20:53:38 · 7637 阅读 · 0 评论 -
使用Apache Phoenix 实现 SQL 操作HBase【包括部分软件安装】
Apache Phoenix 相信大家并不陌生,它是HBase的SQL驱动,Phoenix 使得Hbase 支持通过JDBC的方式进行访问,并将你的SQL查询转换成Hbase的扫描和相应的动作。兼容性:Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x - HBase 0.98.1+转载 2016-03-21 21:08:00 · 1095 阅读 · 0 评论 -
Hbase数据库简单理解
HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的转载 2016-03-21 21:29:36 · 808 阅读 · 0 评论 -
MapReduce概述
MapReduce与HBase的关系:B 两者不是强关联关系,没有MapReduce,HBase可以正常运行C MapReduce可以直接访问HBase一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃?MapReduce方法则是:给在座的所有玩家中分配这摞牌让每个玩家转载 2016-03-22 11:25:56 · 565 阅读 · 0 评论 -
HTable[作为HBase的CRUD客户端底层]
HTable和HTablePool使用注意事项HTable和HTablePool都是HBase客户端API的一部分,可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况,对二者使用过程中的注意事项做一下概括总结。HTable是HBase客户端与HBase服务端通讯的Java API对象,客户端可以通过HTable对象与服务端进行CRUD操作(增删改查)。它的创建很转载 2016-03-22 11:58:46 · 456 阅读 · 0 评论 -
GoldenGate 基于日志的结构化数据复制备份软件
1,随着企业信息化的日益复杂化,同构和异构数据库之间的数据复制,变得越来越重要。Oracle Golden Gate是一种基于日志的结构化数据复制备份软件, 它通过解析数据库日志获得数据的增量变化,并最终将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。GoldenGate产品提供了灵活的应用方案,基于其先进、灵活的技术架构,不仅能够支持单向、双向数据复制,也支持:广播复制、集中复制、转载 2016-04-05 11:05:11 · 1472 阅读 · 0 评论 -
使用Cloudera部署,管理Hadoop集群
详细信息,请点这个连接,讲得很详细:http://www.cnblogs.com/ee900222/p/hadoop_3.html1. Cloudera介绍Hadoop是一个开源项目,Cloudera对Hadoop进行了商业化,简化了安装过程,并对hadoop做了一些封装。 根据使用的需要,Hadoop集群要安装很多的组件,一个一个安装配置起来比较麻烦,转载 2016-04-05 14:20:50 · 440 阅读 · 0 评论 -
利用SQOOP将数据从数据库导入到HDFS
基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralc转载 2016-04-19 09:24:42 · 445 阅读 · 0 评论