- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 从mysql中将数据表复制给hbase
与将mysql的数据表复制给hive/hdfs类似，我们只需要增加以下个别参数用于支持对hbase中的列族的支持即可。可以用如下语句实现：sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --username hive --password hive --table sqoop --hbase-table studen
2017-07-24 15:54:05
383
原创 Sqoop1.4.6使用数据导入导出
sqoop是一款用于结合关系型数据库和hdfs(hive/hbase)的数据库之间数据相互传递的工具，可以将mysql/oracle等数据库中存在的表格通过sqoop来传递给hive或着是hbase，同样也可以将hive或者是hbase中的表格传递给sqoop中，非常好用。目前主要有两种版本的sqoop，分别是sqoop-1.4.*和sqoop-1.99.*。其中sqoop-1.4.*代表的是
2017-07-24 11:31:14
1382
转载 HBase的复制函数CopyToTable
在日常的生产环境中，通常需要将一张已有的hbase表格直接复制给在hbase中的另一张表格，那么可以通过命令行直接调用CopyToTable来实现。首先在hbase中有一张表，如下：hbase(main):018:0> scan 'table1'ROW COLUMN+CELL
2017-07-23 21:37:20
605
原创 hive简介
hive是一种类sql语言，通过将用户输入的sql语句转化成mapreduce的job来执行，大大加快传统的sql语句在数据库中的查询。而且因为hive支持标准的sql语法，免去了用户编写mapreduce的过程，因此减少了公司开发的成本。hive只需要精通sql知识即可，而不需要特别去学习mapreduce，入门较低，而不是特别高，因此比较受欢迎。此外，hive本身就为大数据批处理而生的，hiv
2017-07-21 23:35:16
1424
原创 HBase之java api接口调用与mapreduce整合即从hdfs中通过mapreduce来导入数据到hbase中
此篇分为两部分来探讨，第一部分是hbase的java api接口，第二部分是hbase与mapreduce整合一、hbase之java api接口hbase是基于java写的，所以当然可以调用java api一样通过java代码来操纵hbase，可以实现基本的查询hbase表，向hbase表上传某一条记录等操作。那么首先需要依赖一些基本的hbase的maven的jar包，lz是在idea的
2017-07-21 15:16:01
1751
转载 Hive和Hbase的数据整合联系
lz最近在研究hadoop家族中非常重要的两个工具：hive和hbase。这两个工具分别对应于类sql的hadoop数据查询和hadoop的database。都是基于hadoop中的hdfs。下图是一个比较典型的hadoop的数据处理流程图：w
2017-07-21 10:34:11
1430
原创 Hbase数据库的一些基础知识
Hbase是一种NoSql数据库，与传统的RDBMS(关系型数据库)有着本质的区别。一、NoSqlNoSql的字面意思是Not Only SQL，泛指用来解决大数据相关问题而创建的数据库技术，目前在市场上常用的有Mongo DB，阿里巴巴开源的OceanBase等，当然也包括本文所介绍的HBase。虽然NoSql数据库是面向大数据而应运而生的，但是也并非说在大数据时代，传统的关系型数据库就
2017-07-19 22:48:36
523
原创 hadoop中的自动分区
lz在学习hadoop大数据实践，接触到可以通过继承partitioner这个类来自定义分区，将map后输出的结果按照key来划分到不同的reduce中进行汇总，也就是reduce，默认情况下只有一个partitioner分区，可以自定义来划分不同的partitioner分区，方便快捷。而且，自定义分区，必须通过hadoop jar的方式来运行，以下通过一个例子来说明如何运行这个partition
2017-07-15 14:31:17
589
原创 未完待续 HDFS中使用hadoop url来读取数据
一、使用hadoop url读取数据从hadoop中的hdfs分布式文件系统中来读取数据，最简单的方法是通过使用java.net.URL对象来打开一个数据流，并从中读取数据，因此，一般的调用格式如下：InputStream in = null;try{ in = new URL("hfs:///文件路径").openStream(); //注意：这里必须要有三个///，
2017-07-02 12:23:27
1486
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人