- 博客(5)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 向HBase中导入数据3：使用MapReduce从HDFS或本地文件中读取数据并写入HBase（增加使用Reduce批量插入）
前面我们介绍了：向HBase中导入数据1：查询Hive后写入向HBase中导入数据2：使用MapReduce从HDFS或本地文件中读取数据并写入HBase（只使用Map逐条查询）为了提高插入效率，我们在前面只使用map的基础上增加使用reduce，思想是使用map-reduce操作，将rowkey相同的项规约到同一个reduce中，再在reduce中构建put对象实现批量插入测试数据如下:注意到有...
2018-03-16 22:53:53
2493
原创 向HBase中导入数据2：使用MapReduce从HDFS或本地文件中读取数据并写入HBase（只使用Map逐条查询）
一、在HBase中创建空表二、准备好要写入HBase的文件（可能存在HDFS或者本地，需要修改输入文件路径，HDFS使用hdfs://开头，本地文件使用file://开头）例如我有这样一份文件：其保存在HDFS上三、检查能否调用hadoop读取该文件package cn.edu.shu.ces.chenjie.tianyi.hadoop;import java.io.IOException;...
2018-03-16 21:00:28
3916
原创 向HBase中导入数据1：查询Hive后写入
一、前提条件Hive表已经创建好，并且远程访问Hive的代码已写好。Hive表结构如下：create external table clientdata(screen string, model string, userID string, country string, province string, city string, network string, time string) row ...
2018-03-16 20:45:04
1687
原创 使用Java访问远程HBase数据库
package cn.edu.shu.ces.chenjie.tianyi.hbase.utils;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.HashMap;import java.util.Map;import org.apache.commons.lang.String...
2018-03-16 20:41:12
4341
2
原创 HBase 的安装与配置
一、前提条件JDK1.7+Hadoop 2.5.0+Zookeeper 3.4.5+下面介绍一下Zookeeper的安装：（1）到Zookeeper官网下载Zookeeper最新安装包，下载地址：http://mirrors.shu.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz（2）下载完成后使用命令 tar -z...
2018-03-13 11:00:24
34449
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人