数据经MP处理-存入Hbase

最新推荐文章于 2020-12-08 16:25:06 发布
最新推荐文章于 2020-12-08 16:25:06 发布
阅读量154 收藏
点赞数
分类专栏： 笔记 文章标签： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bwf317/article/details/110122575
版权

例子：
将数据存入hdfs目录中： /tsv/input
静态数据如下
uid001,zss,23,F
uid002,lss,13,M
uid003,ww,22,M
uid004,zl,34,F
uid005,tq,43,M
uid006,wb,55,F
uid007,sj,98,M

2 在hbase中创建一张表
create ‘tb_imp’ ,‘info’

3 根据数据 生成hbase文件的命令：
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns=‘HBASE_ROW_KEY,info:name,info:age,info:gender’ -Dimporttsv.bulk.output=/tsv/output tb_imp /tsv/input

/tsv/output tb_imp 为输出路径（原数据转化好的hfile文件）
/tsv/input为输入路径

4 将生成的hfile文件导入到hbase表中
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tsv/output tb_imp

峰二爷
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
phoenix-client-hbase-2.2-5.1.2.jar
12-10
phoenix-client-hbase-2.2-5.1.2.jar
Hbase、Kudu和ClickHouse横向对比V2.0
热门推荐
super_chenzhou
07-30 2万+
Hbase、Kudu和ClickHouse横向对比
HBase写性能优化策略
happy19870612's blog
11-13 7982
HBase写入通常会遇到两种问题： # 写的性能很差 # 根本写不进去 一 HBase写入性能优化 1.1 是否需要写WAL? WAL是否需要同步写？ WAL机制可以确保数据即使写入缓存的数据丢失了，也可以恢复；另外是为了集群之间的异步复制。默认WAL机制开启，且使用同步机制写入WAL. 我们可以考虑是否需要写入WAL,通常大多数企业业务都会开启，但是对于部分业务可能并不特别
存入hbase的方法
云计算?
07-23 135
1、通过mapreduce的方式存入hbase，只有map，其实reduce阶段也是一样的 代码如下： import java.io.IOException; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop....
HBase数据备份恢复的几种机制总结
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
10-21 1万+
1、  replication， 通过类似mysql 主从复制方式进行复制，基于HLog 在应用场景个人感觉比较重要的一点是可以隔离计算分析型的操作和实时性操作带来的影响。 对于DDL操作不做复制，过实时读取hlog中的entry来解析变更的数据然后发送到从集群中去。       2、  distcp， 表数据文件的copy ./hadoopdistcp  hdfs://w
对一个字段的所有数据增加值，给一张表添加字段，指定字段去重后的个数 SQL语句
baidu_41909845的博客
09-17 888
1.对一个字段的所有数据增加值 update [dbo].[Voters] set [V_Count]=[V_Count]+20 2.给一张表添加字段 sql server语法 alter table [vote].[dbo].[Token] add T_Ticket varchar(255); 3.指定字段去重后的个数 SELECT count(distinct C_OpenId) FROM [vote].[dbo].[Cast] ...
Hbase写数据，存数据，读数据的详细过程
chbxw
04-04 6664
HBase架构Region  HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表 示不同的HRegion可以分布在不同的HRegion server上。   HRegion由一个或者多个Store组成，每个store保存一个columns familyHFileStoreFile 以HFile格式保存在HDFS一、写操作 Client写入 -> 存入MemStore， 一直
数据导入HBase最常用的三种方式及实践分析
架构师思考实践
01-07 2316
【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为：使用HBase的API中的Put方法； 使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由
hbase-meta-repair-hbase-2.0.2.jar
12-16
HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs....③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`
phoenix-5.0.0-HBase-2.0-client.jar
09-14
hbase phoenix 客户端连接jdbc的jar包，SQuirreL SQL Client,DbVisualizer 等客户端连接hbase配置使用
apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz
06-03
Apache Phoenix是构建在HBase之上的关系型数据库层，作为内嵌的客户端JDBC驱动用以对...直接使用HBase的API，结合协处理器（coprocessor）和自定义的过滤器的话，小范围的查询在毫秒级响应，千万数据的话响应速度为秒级
Apache Hadoop---HBase.docx
06-11
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的...HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。
Spark 批量写数据入HBase
mach_learn的专栏
06-02 3636
介绍   工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据，花费时间大概20分钟左右，本文Spark可用核数量为20。
HBase写入的各种方式总结汇总（代码）
weixin_33767813的博客
03-13 640
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase API 详细例子(封装的DAO类）
weixin_34348111的博客
09-28 149
HBase中没有库的概念HBase lib目录下所有JAR包复制到项目中,Hbase 版本0.98.5packagecom.zxing.imgQRCode; importjava.io.IOException; importjava.util.LinkedList; importjava.util.List; importorg.apache.hadoop.co...
Hadoop集成Hbase，处理完的数据直接存入Hbase中
Jantelope的博客
10-04 2111
Hadoop可以清洗计算TB级别的数据，数据清洗结束存入HDFS中，也可以存入到Hbase中，可以方便快速查询； 1.Hbase中需要创建一张表用来存储HDFS清洗后的数据： hbase(main):014:0> create_namespace 'hdfs' //构建表空间 0 row(s) in 0.9030 seconds hbase(main):015:0> cr...
mapreduce详解
woxuyaohaohaoxuexi的博客
11-13 482
目标： 掌握mapreduce分布式运算框架的编程思想 掌握mapreduce常用算法的编程套路 掌握mapreduce分布式运算框架的运行机制，具备一定自定义开发的能力   一、 MAPREDUCE原理篇（1） Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带...
Hive中查询当月第一天的函数trunc()
bwf317的博客
12-03 9117
查询当月第一天 例： select trunc(‘2020-12-03’，‘MM’) – ‘2020-12-01’ 查询当前季度第一天 例： select trunc(‘2020-12-03’，‘Q’) – ‘2020-10-01’ 查询当年第一天 例： select trunc(‘2020-12-03’，‘YEAR/Y/YYYY’) – ‘2020-12-01’ ...
clickHouse-高阶函数arrayMap()
bwf317的博客
12-08 6105
arrayMap(参数1，参数2) 参数1：参数1是一个函数，规定了对数组中元素的操作行为 参数2：是一个数组 例：arrayMap(x->x*10,[1,2,3,4]) x表示数组中每一个元素， ->后面的表达式表示对数组中每一个数据的操作 （ 这里将x替换成y，依然能实现功能，所有x只是一个代理符号可以替换成其他的符号） 把数组中每个数乘以10 SELECT arrayMap(y -> (y * 10), [1, 2, 3, 4]) ┌─arrayMap(lam
怎么将航迹数据存入hbase
最新发布
12-30
要将航迹数据存入HBase，首先需要在HBase中创建一张表格，然后设计好表的列簇和列族。接下来，需要编写Java代码，使用HBase的API将航迹数据写入创建好的表格中。 在编写Java代码时，首先需要创建HBase的链接，然后...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值