mysql sqoop hbase_查看mysql的数据总量Sqoop导入mysql数据到Hbase

[code]sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select rowkey,dtTime from tb1 where 1=1 and $CONDITIONS" --hbase-table tb1--column-family t --hbase-row-key id -split-by dtTime -m 2导入大表时一定要注意查看数据是否分布均匀,否则很容易出现java heap space错误

sqoop导入mysql数据到hbase时,如果带有--hbase-create-table选项出现如下错误,据说是兼容问题:[code]16/01/24 13:46:33 INFO zookeeper.ClientCnxn: Session establishment complete on server slave1/192.168.2.80:2181, sessionid = 0x252720e0fac0008, negotiated timeout = 40000

16/01/24 13:46:33 INFO mapreduce.HBaseImportJob: Creating missing HBase table exchangeshopflow

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V

at org.apache.sqoop.mapreduce.HBaseImportJob.jobSetup(HBaseImportJob.java:222)

at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:264)

at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:729)

at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:499)

at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)

at org.apache.sqoop.Sqoop.run(Sqoop.java:143)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)

at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)

at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)

at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

解决方法:

手动建hbase表,然后使用sqoop导入

电脑技术网认为此文章对《查看mysql的数据总量Sqoop导入mysql数据到Hbase》说的很在理,电脑技术002pc网为你提供最佳的程序员,mysql技术。

包含自定义field:

[code]sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://192.168.2.80:3306/db_1" --username root --password root --query "select concat(concat(md5(concat(PID,vid)),UNIX_TIMESTAMP(dtTime)), 100000+right(`__#alibaba_rds_row_id#__`,5)) as id,dttime,vid,pid,zoneid,type,count,reason,`__#alibaba_rds_row_id#__` from achi where $CONDITIONS" --hbase-table achi --column-family a --hbase-row-key id -split-by `__#alibaba_rds_row_id#__`直接导入:

[code]sqoop import --driver com.mysql.jdbc.Driver --connect jdbc:mysql://192.168.2.80:3306/db_1" --username root --password root --table achi --hbase-table achi --column-family a --hbase-row-key dtTime -split-by dtTime --hbase-create-table定时增量导入

[code]sqoop job --create t11 -- import --driver com.mysql.jdbc.Driver --connect jdbc:mysql://192.168.2.80:3306/db_1" --username root --password root --table t2 --hbase-table t007117 --column-family a --hbase-row-key id -split-by id --hbase-create-table --incremental append --check-column id --last-value 0;定时任务

[code]sqoop job --create t117 -- import --driver com.mysql.jdbc.Driver --connect jdbc:mysql://192.168.2.80:3306/db_1" --username root --password root --query "select concat(concat(md5(concat(PID,vid)),UNIX_TIMESTAMP(dtTime)), 100000+right(id,5)) as key_id,t.* from t2 as t where $CONDITIONS" --hbase-table t007117 --column-family a --hbase-row-key id -split-by id --hbase-create-table --incremental append --check-column id --last-value 0;使用–query时,–incremental append –check-column id –last-value 0;不起作用

更多:查看mysql的数据总量Sqoop导入mysql数据到Hbase

https://www.002pc.comhttps://www.002pc.com/mysql/1007.html

你可能感兴趣的Hbase,Sqoop,mysql,导入,数据

Falsesqoop 在hbase运行时出现job: java.io.IOException: java.lang.reflect.InvocationTargetException解决办法

最近在学习Linux下sqoop连接hbase数据库并导入数据时出现如下错误:job: java.io.IOException: java.lang.reflect.InvocationTargetExceptionat

php 加减数据如何导入导出MySQL数据库----*.sql文件操作

概述MySQL数据库的导入,有两种方法:1) 先导出数据库SQL脚本,再导入;2) 直接拷贝数据库目录和文件。在不同操

php异步导入数据库简单学习PHP向MYSQL中插入数据的代码

php 002pc.com认为此文章对《php异步导入数据库简单学习PHP向MYSQL中插入数据的代码》说的很在理,W WW.002pc .COM为你提供最佳的php编程,学习电脑。

log4php 日志数据的导出与导入!

数据导出数据导出主要有以下几种方法:使用select into outfile "filename"语句使用mysqldump实用程序使用select into outfile &quot

js android scheme从零学习node.js之mysql数据库的操作(五)

准备工作

在使用node操作mysql数据库时,需要先下载mysql模块:

npm install mysql --save-dev

在引入mysql模块后,就可以进行数据库的连接和其他的操作了。

cv2-pythonpython连接MYSql数据库python连接MYSql数据库 使用 MySQLdb

安装:下载 MySQL-python-1.2.2.tar.gz $ tar xfz MySQL-python-1.2.1.tar.gz

$ cd MySQL-python-1.2.1

电脑系统盘优化MySQL数据库表出错的检查方法

你可能在使用MySQL过程中,各种意外导致数据库表的损坏,而且这些数据往往是最新的数据,通常不可能在备份数据中找到。本文将讲述如何检测MySQL数据库表的故障。

js input text value值node.js将MongoDB数据同步到MySQL的步骤

前言

最近由于业务需要,APP端后台需要将MongoDB中的数据同步到Java端后台的MySQL中,然后又将MySQL中算好的数据,同步到MongoDB数据库。

taglib php利用phpExcel实现Excel数据的导入导出(全步骤详细解析)

很多文章都有提到关于使用phpExcel实现Excel数据的导入导出,大部分文章都差不多,或者就是转载的,都会出现一些问题,下面是本人研究phpExcel的使用例程总结出来的使用方法,接下来

python每运行一行将数据写入txtPython操作mysql方法说明

[size=large]python支持连接多种数据库:如下:GadFly,mSQL,MySQL,PostgreSQL,Microsoft SQL Server 2000,Informix,Interbase

0踩

0 赞

参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

一个喜欢写作的人

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值