Phoenix通过MapReduce对HBase批量导入数据

最新推荐文章于 2021-01-17 15:12:43 发布
最新推荐文章于 2021-01-17 15:12:43 发布
阅读量2.4k 收藏
点赞数
分类专栏： Python-Hadoop 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Haiyang_Duan/article/details/60765885
版权
本文介绍了如何通过MapReduce任务结合Phoenix库，将CSV数据批量导入到HBase中。首先确保Hadoop、HBase和Phoenix已启动，然后在Phoenix安装目录下运行指定的Hadoop命令，使用phoenix-4.9.0-HBase-0.98-client.jar和CsvBulkLoadTool工具，指定期望的表名和HDFS上的数据文件路径。数据源文件必须位于HDFS上，启动命令可根据实际jar包位置调整。
摘要由CSDN通过智能技术生成

在用该方法之前，请确保hadoop、hbase、phoenix已经启动。

在phoenix的安装目录下使用以下代码，启动MR

HADOOP_CLASSPATH=/opt/hbase-0.98.8-hadoop2/conf hadoop jar phoenix-4.9.0-HBase-0.98-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -t XS_COPY -i /data/xs.csv

代码解析：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一叶_障目
关注
专栏目录
订阅专栏
hadoop组件---面向列的开源数据库(十)--使用phoenix自带工具执行sql脚本以及批量导入数据到hbase中
直到世界的尽头
01-09 757
我们在之前的文章中，记录了 在phoenix命令行工具中运行命令，使用java连接phoenix，使用图形界面化客户端连接phoenix。 hadoop组件—面向列的开源数据库(七)–phoenix查询hbase–映射和常用命令 hadoop组件—面向列的开源数据库(八)–java使用phoenix查询hbase hadoop组件—面向列的开源数据库(九)–使用phoenix图形界面客户端查询hb...
Phoenix批量导入数据至Hbase中
Stay Focused And Work Hard !!!
07-14 8419
笔者环境：hdp2.5.3 + centos6.9 + phoenix4.7 官网文档： Phoenix provides two methods for bulk loading data into Phoenix tables: Single-threaded client loading tool for CSV formatted data via the psql command...
hdfs phoenix 导入_Phoenix 数据导入与导出
weixin_42568714的博客
01-17 417
Phoenix 官方提供了相应的导入和导出的方案，分别位于：导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。环境：HDP 3.0.0、HBase 2.0.0、Phoenix 5.0.0、Pig 0.16.0导出Phoenix 官方提供的 Pig 方案，看似很简单，其实还是有很多需要注意的地方，比较官方给的都是最简单的示例，而实际应用场景的时候，会碰到很多意想不到的问题。我...
python实现Phoenix批量导入数据
kw-home
11-14 2508
官网文档： Phoenix provides two methods for bulk loading data into Phoenix tables: · Single-threaded client loading tool for CSV formatted data via the psql command · MapReduce-based bulk load tool for C...
hdfs phoenix 导入_Phoenix批量导入数据至Hbase中
weixin_39801714的博客
01-17 337
来源于https://blog.csdn.net/u013850277/article/details/81040686笔者环境：hdp2.5.3 + centos6.9 + phoenix4.7官网文档：Phoenix provides two methods for bulk loading data into Phoenix tables:Single-threaded client l...
phoenix 利用CsvBulkLoadTool 批量带入数据并自动创建索引
weixin_30367945的博客
02-16 528
需要先创建表： CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city)); 在phoenix 目录下执行 hadoop jar /home...
Stanford大学的Phoenix系统（单机多核MapReduce应用）
lucktroy的专栏
12-11 3392
一、简介： 1、Phoenix是在共享内存的体系结构上的MapReduce实现。它的目标是在多核平台上，使程序执行得更高效，而且使程序员不必关心并发的管理。事实上并发管理，尽管是经验丰富的程序员，也难免在这上面出错。 2、Phoenix由一组对程序应用开发者开放的简单API和一个高效的运行时组成。运行时系统处理程序的并发、资源管理和错误修复， 它的实现是建立在P-thread之上的，当然也
HBase数据大批量导入方式总结和对比
xiaohu21的博客
08-30 3622
HBase数据导入 1. 背景 在实际生产中，海量数据一般都不是直接存储在HBase中，这时候就需要一个数据导入到HBase的步骤 上一篇博客讲述了可以通过java api的方式或者shell 客户端方式导入或者创建数据，但这对于实际生产中海量数据导入来说，速度和效率都太慢了，所以我们需要使用其他方式来解决海量输入导入到HBase的问题 利用HBase底层文件是HFile形式存储再HDFS中，所以如果能够直接生成HFile的话，这时候再让HBase从HFile中读取数据，就会快很多。 2. 批量数据导入
Hive数据导入到HBase
xiaohu21的博客
10-27 4465
Hive数据导入到HBase 1. 背景 作为一个数据处理框架，hive本身并不计算和存储数据，计算引擎一般是mapreduce，tez，spark，数据存储则是在hdfs中，元数据一般在mysql中。 hive将数据计算处理之后，如果数据结果需要对外提供并且有秒或亚秒级别的访问速度，并且跟hadoop生态有较好的兼容性，则hbase是一个很好的选择。当然实际上只是数据存储，mysql，elasticsearch，clickhouse都可以胜任亚秒级别的数据访问性能。 当业务需要，将hive数据导入hba
Sqoop通过Phoenix导hbase数据到hive
11-06
出现此问题时使用：java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
关系型数据库的数据导入Hbase
11-01
- Sqoop：专为Hadoop设计的数据迁移工具，可以高效地将RDBMS数据批量导入HDFS，然后进一步处理。通过 Sqoop导出到Hbase，需要先将数据导入HDFS，再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce...
Phoenix 数据导入与导出
迹_Jason
05-15 6826
Phoenix 官方提供了相应的导入和导出的方案，分别位于： 导入：https://phoenix.apache.org/bulk_dataload.html 导入、导出：https://phoenix.apache.org/pig_integration.html 导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。 **环境：**HDP 3.0.0、HBase 2.0.0...
Phoenix（十三）Phoenix使用MapReduce加载大批量数据
人是有思想的芦苇
05-10 8700
本篇主要说明在实际应用场景中可以会有一些格式比较规整的数据文件需要导入到HBase，Phoenix提供了两种方法来加载CSV格式的文件phoenix的数据表。一种是使用单线程的psql工具进行小批量数据加载的方式，一种是使用MapReduce作业来处理大批量数据的方式。第一种方式比较简单这里就不介绍了，想了解的可以参考官方文档。
hbase phoenix批量插入数据例子
热门推荐
黄刚的技术博客
10-18 1万+
package com.hbase; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Stat
使用Phoenix的Psql Command对HBase批量插入数据
一叶_障目
03-07 2202
使用Phoenix的Psql Command对HBase批量插入数据，这种方式只适合几十兆的数据量。 http://phoenix.apache.org/bulk_dataload.html1
Phoenix单线程psql方式导入csv数据到hbase
hyj
03-17 1175
一、准备阶段 1、建表语句 create table student(id integer not null primary key,"cf"."name" varchar,"cf"."age" integer,"cf"."address" varchar); 2、数据准备 说明：这里准备600条测试数据 3、将student01.csv数据放入本地/home/test目录下 ...
批量(bulkload)载入数据到hbase
apexlj的博客
08-17 1227
HBase提供了操作表的java api，但是这种方式是单条数据插入，对于大量数据载入来说效率太低。 对于批量数据导入，直接生成HBase的内部存储结构：HFile，并将其导入到Hbase中的效率无疑是最高。 步骤如下： 通过mapreduce将源数据导出为HFile文件 HBaseBulkLoadDriver.java import com.sq.platform.hbaseLoadServ
hdfs phoenix 导入_apach hadoop2.6 集群利用Phoenix 4.6-hbase 批量导入并自动创建索引
weixin_42293447的博客
01-17 143
基础环境：1、安装apach 版本hadoop2.62、部署hbase1.0.03、下载phoenix-4.6.0-HBase-1.0。下载地址(http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoenix-4.6.0-HBase-1.0-bin.tar.gz)4、phoenix 集成HBase ： 将hoe...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值