Phoenix(十三)Phoenix使用MapReduce加载大批量数据

本文介绍了如何使用MapReduce在Phoenix中加载大批量CSV数据。首先,创建Phoenix表,然后准备测试数据,最后执行MapReduce作业。在执行过程中遇到文件路径问题,通过将数据上传到HDFS并调整命令后,成功将数据导入Phoenix。
摘要由CSDN通过智能技术生成

1. 说明


在实际应用场景中可以会有一些格式比较规整的数据文件需要导入到HBase,Phoenix提供了两种方法来加载CSV格式的文件phoenix的数据表。一种是使用单线程的psql工具进行小批量数据加载的方式,一种是使用MapReduce作业来处理大批量数据的方式。第一种方式比较简单这里就不介绍了,想了解的可以参考官方文档。

http://phoenix.apache.org/bulk_dataload.html


2. 创建表


在phoenix的CLI界面创建user表。

> create table user (id varchar primary key,account varchar ,passwd varchar);


3. 添加测试数据


【PHOENIX_HOME】目录下创建data_import.txt,内容如下:

001,google,AM
002,baidu,BJ
003,alibaba,HZ


  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值