Hbase--海量数据导入Hbase和Hbase数据导入Hdfs

最新推荐文章于 2022-08-24 05:42:48 发布
最新推荐文章于 2022-08-24 05:42:48 发布
阅读量1k 收藏 5
点赞数 4
分类专栏： Hbase 文章标签： Hbase 大数据 海量数据的处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITgagaga/article/details/102756821
版权

Hbase–海量数据导入Hbase和Hbase数据导入Hdfs

文章目录

一：海量数据导入Hbase
1.代码实现
package hbasePut;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.TestMiniMRClientCluster.MyReducer;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class HdfstrueHbase {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		//加载配置文件
		Configuration conf=new Configuration();
		//将core.site  hdfs.site放在src下
		//设置高可用的集群
		conf.set("fs.defaultFS", "hdfs://bd1906/");
		//指定zookeeper的访问路径
		conf.set("hbase.zookeeper.quorum", "hadoop01:2181,hadoop02:2181,hadoop03:2181");
		//启动一个job
		Job job=Job.getInstance(conf);
		/**
		 * 指定job的主要入口
		 * class的获取
		 * 1：类名，class
		 * 2：对象,getClass
		 * 3.Class.forname
		 */
		job.setJarByClass(HdfstrueHbase.class);
		//指定job中mapper对应的类
		job.setMapperClass(MyMapper.class);
		//指定reduce对应的类
		//job.setReducerClass(MyReducer.class);
		
		/**
		 * 泛型：只在代码编译时后生效，代码运行的时候自动删除
		 * 框架---map---reduce---hadfs
		 */
		//指定map输出的key  value的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		
		
		//指定reduce输出的key value的类型
		job.setOutputKeyClass(NullWritable.class);
		job.setOutputValueClass(Put.class);
		
		//指定输入  
		Path inpath=new Path("/user/hbase/ratings.dat");
		FileInputFormat.addInputPath(job, inpath);
		
		//指定输出路径 最终结果存储 值得hdfs的路径，输出的路径一定不能存在
		//借助一个工具类指定表名
		/**
		 * 参数1：表名
		 * 参数2：reduce的对应类
		 * 参数三：job
		 */
		TableMapReduceUtil.initTableReducerJob("user_hdfs", MyReducer.class, job, 
				null, null, null, null, false);
		
		//真正的提交job，不会打印日志
		//job.submit()
		job.waitForCompletion(true);
	}
	/**
	 * key:行键
	 * value:其他数据信息
	 *
	 */
	static class MyMapper extends Mapper<LongWritable, Text, Text, Text>{
		Text mk=new Text();
		Text mv=new Text();
		int i = 0;
		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			//1::1193::5::978300760
			i++;
			String line = value.toString();
			String[] datas = line.split("::");
			mk.set(datas[0]+i);
			mv.set(datas[1]+"\t"+datas[2]+"\t"+datas[3]);
			context.write(mk, mv);
		}
	}
	/**
	 * 泛型1：泛型2:map端输入
	 * 泛型3：reduce端输出的key
	 *泛型4：省略，mutation对象---put|delete
	 *
	 *解析map发送的数据进行封装
	 */
	static class MyReducer extends TableReducer<Text, Text, NullWritable>{
		@Override
		protected void reduce(Text key, Iterable<Text> value,Context context)
				throws IOException, InterruptedException {
			for (Text v : value) {
				String[] datas = v.toString().split("\t");
				Put p=new Put(key.getBytes());
				//1::1193::5::978300760
				p.addColumn("info".getBytes(), "version".getBytes(), datas[0].getBytes());
				p.addColumn("info".getBytes(), "amount".getBytes(), datas[1].getBytes());
				p.addColumn("info".getBytes(), "id".getBytes(), datas[2].getBytes());
				//将put对象写出到hbase中
				context.write(NullWritable.get(), p);
			}
		}
	}
}
2.遇到的错误以及注意要点

1）这里使用的hdfs配置的是高可用集群，需要将linux中Hbase的安装配置文件中的core.site和hdfs.site放在src下，不然不能识别；

2）出现错误：Exception in thread “main” java.lang.IllegalArgumentException: Pathname /D:/bigdata_soft/hbase-1.2.6/lib/hbase-prefix-tree-1.2.6.jar from hdfs://bd1906/D:/bigdata_soft/hbase-1.2.6/lib/hbase-prefix-tree-1.2.6.jar is not a valid DFS filename.这个是jar包冲突导致的错误，解决办法：

  • 调整jar包的导入顺序： hadoop导入在前， hbase 导入在后
  • 代码TableMapReduceUtil.initTableReducerJob(“user_hdfs”, MyReducer.class,job,null,null,null,null,false);

3）TableMapReduceUtil工具类的initTableReducerJob()方法可以用来指定路径，和解决jar包冲突，是一个好东西。

4）如果使用TableMapReduceUtil指定了路径，前面的job指定的路径就可以删掉了

5）一定要注意路径问题，如果在hdfs中路径错误，可能在map阶段处理的时候回造成数组下表越界的问题

二：数据从Hbase导入到Hdfs
1.代码实现

这里是一个例题：求相同年龄的人数，将结果写到hdfs上面

package HbaseTsxt;

import java.io.IOException;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class HbaseToHdfs {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		Configuration conf=HBaseConfiguration.create();
		conf.set("fs.defaultFS", "hdfs://bd1906/");//mapreduce相关的，设置为高可用
		conf.set("hbase.zookeeper.quorum", "hadoop01:2181,hadoop02:2181,hadoop03:2181");//指定zookeeper
		//Connection connection=ConnectionFactory.createConnection(conf);
		//启动一个工作
		Job job=Job.getInstance(conf);
		//指定工作的入口
		job.setJarByClass(HbaseToHdfs.class);
		//指定reduce的入口
		job.setReducerClass(MyReduce.class);
		//指定map的入口
		job.setMapperClass(MyMapper.class);
		//指定map输出的key,value
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		//指定reduce输出的key,value
		//job.setOutputKeyClass(Text.class);
		//job.setOutputValueClass(IntWritable.class);
		//指定hbase的表
		Scan scan=new Scan();
		//scan.addColumn(family, qualifier);
		TableMapReduceUtil.initTableMapperJob("HbaseAPI:HbaseAPI01", scan, MyMapper.class, Text.class, IntWritable.class, job,false);
		//指定输出
		FileSystem fs=FileSystem.get(conf);
		Path output=new Path("/user/hbase/data/hbasetohdfs");
		if(fs.exists(output)){
			fs.delete(output, true);
		}
		//FileOutputFormat指定工作的输出路径
		FileOutputFormat.setOutputPath(job, output);
		//提交工作
		job.waitForCompletion(true);
		
	}
	/**
	 * 泛型1：输出的key的类型
	 * 泛型2：输出的value的类型
	 *
	 */
	static class MyMapper extends TableMapper<Text, IntWritable>{
		/**
		 * 参数1：行键对象
		 * 参数2：行键那一行的结果集
		 */
		//创建输入输出对象
		Text mk=new Text();
		IntWritable mv=new IntWritable();
		@Override
		protected void map(ImmutableBytesWritable key, Result value,
				Mapper<ImmutableBytesWritable, Result, Text, IntWritable>.Context context)
				throws IOException, InterruptedException {
			//listCells()方法取出所有的单元格
			List<Cell> Cells = value.listCells();
			//遍历单元格，做k,v处理
			for (Cell cell : Cells) {
				String qualifier=Bytes.toString(CellUtil.cloneQualifier(cell));
				if (qualifier.equals("age")) {
					String k=Bytes.toString(CellUtil.cloneValue(cell));
					mk.set(k);
					mv.set(1);
					context.write(mk, mv);
				}
			}
		}
	}
	/**
	 * 参数1：输入key的类型
	 * 参数2：输入value的类型
	 * 参数2：输出key的类型
	 * 参数4：输出value的类型
	 */
	static class MyReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
		IntWritable mv=new IntWritable();
		@Override
		/**
		 * 参数1：输入的key
		 * 参数2：map端的value集合
		 * key相同的启动一个reducetask,对values处理，v累=累加
		 */
		protected void reduce(Text key, Iterable<IntWritable> values,
				Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
			int count=0;
			for (IntWritable v : values) {
				count+=v.get();
			}
			mv.set(count);
			context.write(key, mv);
		}
		
	}
}
2.遇到的错误以及注意要点

1）写出的路径存在导致的错误：Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://bd1906/user/hbase/data/hbasetohdfs already exists 解决办法：每次指定输出到hdfs上面的时候进行判断，如果路径存在就删除路径下的文件

if(fs.exists(output)){
			fs.delete(output, true);
		}

2）权限问题，导致无法连接，可以加上权限管理

System.setProperty("HADOOP_USER_NAME", "hadoop");
Keep hunger
关注
专栏目录
hbase海量数据的全量导入方法
05-10
hbase海量数据的全量导入方法，大数据导入。
Hbase 海量数据导入
buledv的博客
12-13 493
Hbase 海量数据导入 ImportTsv
hbase海量数据导入
摩西YF拉比
06-29 765
最近有个需求要对mysql的全量数据迁移到hbase,虽然hbase的设计非常利于高效的读取，但是它的compaction实现对海量数据写入造成非常大的影响，数据到一定量之后，就开始抽风。  分析hbase的实现，不管其运行的机制，其最终存储结构为分布式文件系统中的hfile格式。  刚好hbase的源代码中提供一个HFileOutputFormat类，分析其源代码可以看到：  Ja
通过BulkLoad快速将海量数据导入到Hbase[Hadoop篇]
统木木的博客
09-21 581
转载本文请加上：转载自过往记忆（https://www.iteblog.com/） 本文链接:【通过BulkLoad快速将海量数据导入到Hbase[Hadoop篇]】（https://www.iteblog.com/archives/1889.html） 在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方...
将海量数据从MySQL数据库导入到Hbase
li123_123_的博客
07-16 1982
任务二：MySQL数据库导入到Hbase 1.背景： 将第一次试验中的mysql数据导入到hbase中，对比SQL语句与Hbase查询语句的区别，对比Phoenix组件和原生Hbase查询的时间性能。尝试编程实现对Hbase数据库的访问。 2. 自行安装Hbase/Phoenix环境 由于设备条件有限，没有实现真正的分布式，于是使用的伪分布式进行的实验。 ① Hadoop的安装和配置： 图2.1...
hbase-meta-repair-hbase-2.0.2.jar
12-16
HBase 元数据修复工具包。 ①修改 jar 包中的application....②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下； ③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
07-14
3. **配置HBase**：编辑`conf/hbase-site.xml`，设置HBase的主配置，如`hbase.rootdir`（HDFS中的HBase目录）和`hbase.zookeeper.quorum`（Zookeeper集群地址）。 4. **启动与停止**：使用`start-hbase.sh`启动HBase...
hbase-2.4.17-bin 安装包
最新发布
08-28
HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统，设计用于处理大规模数据集。这个“hbase-2.4.17-bin”...通过理解并掌握上述概念、安装步骤及操作方法，用户可以有效地利用HBase处理海量数据。
hbase-1.2.1-bin.tar.gz.zip
11-06
全称为Hadoop Distributed File System上的基础结构（HBase on Hadoop Distributed File System），是一种分布式的、面向列的开源数据库，它构建在Apache Hadoop文件系统（HDFS）之上，提供高可靠性、高性能、可伸缩...
hbase-2.4.11-bin.tar.gz
04-19
《HBase 2.4.11：大数据存储与管理的基石》 HBase，作为Apache软件基金会的一个开源项目，是构建在Hadoop文件系统...了解并掌握HBase的使用，对于处理海量数据的企业来说，无疑是提升业务效率和决策能力的重要手段。
Hbase访问 配置信息直接写在程序中的访问方式
yeqingyun2012的博客
01-28 261
public class HbaseInit{        private String QUORUM = "*****";       private String CLIENTPORT = "2015";       private Configuration conf = null;       private static HConnection conn = null;  
Spark和Hbase环境变量冲突解决办法
m0_67394230的博客
08-24 519
由于程序中的setMaster(“local”)将环境变量设为了本地用户，这样就更改了System.setProperty(“HADOOP_USER_NAME”, “sousuo”);造成了环境变量冲突而无法访问Hbase。//初始化Hbase环境变量。
hadoop 本机环境开发调试注意事项
自由の力
10-23 2082
这里的本地开发环境是指，我自己有虚拟机搭建的HADOOP环境，但是我想在windows的环境上开发调试hadoop程序，这里HDFS的文件读取和输出还是放在linux虚拟机上，但是程序是跑在windows上的hadoop环境里的 运行的代码头部加入 System.setProperty("HADOOP_USER_NAME", "root");2.windows环境变量里加入本地hadoop的路径HA
使用外网访问hdfs时遇到的坑
qq_36055407的博客
07-23 547
问题，在使用外网访问hdfs时，只能获取到目录信息，在读取文件的内容时，一直处于阻塞状态。 开始以为是用户名的问题，于是配置了： System.setProperty("HADOOP_USER_NAME","hadoop"); 但是还是不行，于是百度了好多地方： https://blog.csdn.net/weixin_41350766/article/details/81111309 1.可以在hdfs-site.xml中配置，但是不建议，因为仅仅是测试使用。 2.在使用时，添加如下代码..
Java API操作HA方式下的Hadoop
无一技之长
06-05 458
通过java api连接Hadoop集群时，如果集群支持HA方式，那么可以通过如下方式设置来自动切换到活动的master节点上。其中，ClusterName 是可以任意指定的，跟集群配置无关，dfs.ha.namenodes.ClusterName也可以任意指定名称，有几个master就写几个，后面根据相应的设置添加master节点地址即可。......
HBase基础
陈大奔的专栏
02-06 276
hbase基本概念hbase：海量数剧，实时查询 hbase即hadoop database，这是一个在HFDS上的分布式数据库。与传统关系型数据库的行数据存储不同，Hbase则是以列的形式存储数据。 RowKey行键 info：name info：sex grade：math student1 row 1 col 2 row 1 col 3 row 1 col 4
HBase海量数据入库方案、使用ImportTSV向HBase中导入海量数据、HBase的写入流程、HBase在HDFS中的存储结构、LoadIncrementalHFiles命令 10
啊策策大数据社区
04-23 3686
前言 数据导入HBase时，若是小批量的数据，使用HBase提供的API就可以满足需求。 如果要灌入大量数据，使用API的方式导入，会占用大量的RegionServer的资源，影响该RegionServer上其他表的查询。 为了解决这种问题，HBase官方提供了两种基于MapReduce的大量数据导入的方法： ImportTSV BuckLoad 1. HBase导入数据的写入流程 客...
数据导入终章：如何将HBase的数据导入HDFS？
cuizhu6079的博客
10-15 1043
我们的最终目标是将数据导入Hadoop，在之前的章节中，我们介绍了如何将传统关系数据库的数据导入Hadoop，本节涉及到了HBase。HBase是一种实时分布式数据存储系统，通常位于与Hadoop集群相同的硬件上，或者与Ha...
滴滴出行数据分析：Hbase-Hive-Mysql-Sqoop-可视化实战
报告详细介绍了每个阶段的操作，旨在展示大数据生态系统中的综合应用能力，特别是对Linux、HDFS、HBase、Hive、Sqoop和Python等技术的运用。" 在本项目中，首先，通过对滴滴出行数据的爬取，获取了哈尔滨地区的运营...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值