这两天搞sqoop1.x遇到的坑

最新推荐文章于 2022-05-18 11:27:29 发布
最新推荐文章于 2022-05-18 11:27:29 发布
阅读量6.4k 收藏 11
点赞数 1
分类专栏： sqoop 1.x 文章标签： sqoop1.x
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42496757/article/details/88096925
版权

简单分享下，我这两天搞sqoop1.x遇到的坑。

先总体总结下，首先是1.4.4的import不支持as-parquetfile。

好吧，换成1.4.6版本，倒是支持了，但是不支持--as-parquetfile和--query一起使用，报一个什么莫名的空指针异常，--as-parquetfile和--table是可以的。同时import也不支持parquetfile格式直接导入hive表，只能间接的先导入hdfs再load到hive。有个问题就是mysql的datetime类型在hive查询出来始终是null(对应的string,timestamp,bigint都试过了)。

好吧，换成最新的1.4.7版本试试，完美解决了上面所有问题，当然import也不支持parquetfile格式直接导入hive表，不过执行后有明显的提示说不兼容parquet格式直接导入hive。只是第一次运行时报一个找不到org.json.JSONObject，这个简单，网上找个java-json.jar包放到lib下就好了。-as-parquetfile和--query是支持了，不过对于mysql的datatime等时间类型，用parquet是转成bigint类型的，所以hive建表时对应类型要是bigint，转换成时间戳存储了。建成其他格式会报类型不支持。然后，继续ｍｙｓｑｌ导数据直接到ｈｉｖｅ表，又陆续报了一些错，原因是我使用的是ｈｉｖｅ１.２.０版本， sqoop1.4.7版本是不支持的．换成ｈｉｖｅ２.３.４版本成功导入．

下面详细一一道来．

 

 1.   mysql建表

CREATE TABLE `sqoop_job` (

  `id` int(11) DEFAULT NULL,

  `name` varchar(255) DEFAULT NULL,

  `jobname` varchar(255) DEFAULT NULL,

  `formatTimeStamp` datetime DEFAULT NULL,

  `time` varchar(20) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8

 

２.　插入数据

insert into sqoop_job values(1,"name1","jobname1","2015-11-09 21:00:00","2015-11-09 21:00:00");

insert into sqoop_job values(2,"name2","jobname2","2015-11-09 22:00:00","2015-11-09 22:00:00");

insert into sqoop_job values(3,"name3","jobname3","2015-11-09 23:00:00","2015-11-09 23:00:00");

insert into sqoop_job values(４,"name４","jobname４","2015-11-１０ 2１:00:00","2015-11-１０ 2１:00:00");

 

将mysql表结构同步到hive（实际不建议这样做，手动在ｈｉｖｅ建表）　

sqoop create-hive-table \

--connect jdbc:mysql://hadoop03:3306/test \

--username root --password root \

--table sqoop_job \

--hive-table test.sqoop_job \

--fields-terminated-by ,

查看建表语句：

show create table sqoop_job;

| CREATE TABLE `sqoop_job`(`id` int, `name` string, `jobname` string, `formattimestamp` string, `time` string)

COMMENT 'Imported by sqoop on 2019/03/02 18:49:49'

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

WITH SERDEPROPERTIES (　　　　　　　　　　　　　　　　　　　　　　　　　

  'line.delim' = '

',

  'field.delim' = ',',

  'serialization.format' = ','

)

STORED AS

  INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'

  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

TBLPROPERTIES (

  'transient_lastDdlTime' = '1551523804'

)

 

可以看出对于ｍｙｓｑｌ的ｄａｔｅｔｉｍｅ类型，默认是转成Ｓｔｒｉｎｇ类型的．

 

３.　ｉｍｐｏｒｔ　mysql 直接--> parquet hive表：失败（sqoop1.4.6+hive1.2.0的版本）

 

３.１hive建表

 

CREATE TABLE `parquet_sqoop_job` (

  `id` int ,

  `name` string ,

  `jobname` string ,

  `date_time` string ,

  `time` string

)

row format delimited fields terminated by '\t'

stored as parquet;

 

注意：指定ROW FORMAT DELIMITED，在ｈｉｖｅ１.２.０版本会报错：

ROW FORMAT DELIMITED is only compatible with 'textfile', not 'parquet'(line 1, pos 0)．Ｈｉｖｅ２.３.４是可以的．

执行ｓｑｏｏｐ　ｉｍｐｏｒｔ语句

sqoop import ＼

--connect jdbc:mysql://hadoop03:3306/test　＼

 --username root　＼

--password root 　＼

--table sqoop_job ＼

--hive-import 　＼

--hive-database test  ＼

--hive-table parquet_sqoop_job ＼

--delete-target-dir ＼

 --fields-terminated-by '\t'

-m 1  ＼

--target-dir test 　＼

--as-parquetfile

 

Ｓｑｏｏｐ１.４.７报错：Exception in thread "main" java.lang.NoClassDefFoundError: 　　　　　org/apache/hadoop/hive/metastore/api/NoSuchObjectException　　感觉是ｈｉｖｅ的问题，因为最后ｓｑｏｏｐ还是通过ｈｉｖｅ　ｌｏａｄ　数据到ｈｉｖｅ表的．　　　　　　　　　　　　　

 

４.　ｉｍｐｏｒｔ　mysql 直接-->ｔｅｘｔｆｉｌｅ hive表（sqoop1.4.6+hive1.2.0的版本）

 

４.１　使用自动建ｈｉｖｅ表的方式

 

      #########每行最后的\后面不能有空格##########    

sqoop import --connect jdbc:mysql://hadoop03:3306/test \

--username root --password root 　＼

--create-hive-table　＼

--direct　 \

--table sqoop_job \

--hive-overwrite \

--hive-import --hive-database test --hive-table sqoop１  \

--delete-target-dir --fields-terminated-by '\t' --target-dir sqoopjob -m 1

 

查询结果：

 

0: jdbc:hive2://hadoop03:20000/> select * from sqoop1;

+------------+--------------+-----------------+-------------------------+----------------------+

| sqoop1.id  | sqoop1.name  | sqoop1.jobname  | sqoop1.formattimestamp  |     sqoop1.time      |

+------------+--------------+-----------------+-------------------------+----------------------+

| 1          | name1        | jobname1        | 2015-11-09 21:00:00     | 2015-11-09 21:00:00  |

| 2          | name2        | jobname2        | 2015-11-09 22:00:00     | 2015-11-09 22:00:00  |

| 3          | name3        | jobname3        | 2015-11-09 23:00:00     | 2015-11-09 23:00:00  |

| 4          | name4        | jobname4        | 2015-11-10 21:00:00     | 2015-11-10 21:00:00  |

+------------+--------------+-----------------+-------------------------+----------------------+

 

４.２　使用手动建ｈｉｖｅ表的方式

CREATE TABLE `sqoop_job` (

`id` int ,

`name` string ,

`jobname` string ,

`date_time` string ,

`time` string

)

row format delimited fields terminated by '\t'

stored as textfile；

 

执行语句：

sqoop import --connect jdbc:mysql://hadoop03:3306/test \

--username root --password root --direct \

--hive-overwrite \

--query 'SELECT id as id,name as name ,jobname as jobname,formatTimeStamp as date_time,time as time FROM test.sqoop_job WHERE $CONDITIONS  \

--hive-import --hive-database test --hive-table sqoop_job  \

--delete-target-dir --fields-terminated-by '\t' --target-dir sqoopjob -m 1

 

--query     后面跟的sql语句,如果有单引号''引起来的内容,整个语句用""双引号,使用\$转义$,否则不用.

--query "SELECT id as id,name as name ,jobname as jobname,formatTimeStamp as date_time,time as time FROM test.sqoop_job WHERE \$CONDITIONS"                   

 

查询结果：

0: jdbc:hive2://hadoop03:20000/> select * from sqoop_job;

+---------------+-----------------+--------------------+------------------------+----------------------+

| sqoop_job.id  | sqoop_job.name  | sqoop_job.jobname  |  sqoop_job.date_time   |    sqoop_job.time    |

+---------------+-----------------+--------------------+------------------------+----------------------+

| 1             | name1           | jobname1           | 2015-11-09 21:00:00.0  | 2015-11-09 21:00:00  |

| 2             | name2           | jobname2           | 2015-11-09 22:00:00.0  | 2015-11-09 22:00:00  |

| 3             | name3           | jobname3           | 2015-11-09 23:00:00.0  | 2015-11-09 23:00:00  |

| 4             | name4           | jobname4           | 2015-11-10 21:00:00.0  | 2015-11-10 21:00:00  |

+---------------+-----------------+--------------------+------------------------+----------------------+

问题：ｍｙｓｑｌ的ｄａｔｅｔｉｍｅ类型对应的字段多了一个．０

解决：不用－－ｑｕｅｒｙ，换成－－ｔａｂｌｅ的方式，就不会多出．０。具体原因不知道。

#Cannot specify --query and --table together.

#--table 不能和--query一起使用

５.　ｉｍｐｏｒｔ　mysql -->ｈｄｆｓ－－>parquet hive表（sqoop1.4.6+hive1.2.0的版本）

 

5.1  mysql -->ｈｄｆｓ:

测试hdfs路径设为hive表在hdfs的存储路径：报错

手动创建hive表:

CREATE TABLE `parquet_sqoop_job` (

`id` int ,

`name` string ,

`jobname` string ,

`date_time` string ,

`time` string

)

row format delimited fields terminated by '\t'

stored as parquet;

执行语句:

 

sqoop import

--connect jdbc:mysql://hadoop03:3306/test

--username root

 --password root

 --mapreduce-job-name FromMySQL2HDFS

 --table sqoop_job

--fields-terminated-by "\t"

--delete-target-dir

--target-dir /user/hive/warehouse/test.db/parquet_sqoop_job

--null-string '\\N'

--fields-terminated-by '\t'

--null-non-string '\\N'

--num-mappers 1  

--as-parquetfile

报错:（sqoop1.4.7同样）

19/03/03 23:07:02 ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.ValidationException: Namespace test.db is not alphanumeric (plus '_')

org.kitesdk.data.ValidationException: Namespace test.db is not alphanumeric (plus '_')

--as-parquetfile 是不予许Namespace中有.的;同时Dataset中也不能有.的。

类似的问题还可以参看:https://issues.apache.org/jira/browse/SQOOP-2874

textfile是可以这样的,重复执行会覆盖源表已经有的内容.

 

设置target-dir路径为其他路径：

 

# sqoop1.4.6   --as-parquetfile 配合--query  失败，支持 --as-parquetfile和--table

 

sqoop import \

--connect jdbc:mysql://hadoop03:3306/test \

--username root \

--password root \

--query "SELECT * FROM sqoop_job WHERE \$CONDITIONS" \

--target-dir /sqoop/import/user_parquet \

--delete-target-dir \

--num-mappers 1 \

--as-parquetfile

 

报错：NullPointerException

19/03/03 00:47:32 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException

java.lang.NullPointerException

        at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:97)

        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)

        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)

        at org.apache.sqoop.Sqoop.run(Sqoop.java:143)

        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)

        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)

        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)

        at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

参看： https://issues.apache.org/jira/plugins/servlet/mobile#issue/SQOOP-2582

 

# sqoop1.4.6 支持 --as-parquetfile和--table

 

sqoop import \

--connect jdbc:mysql://hadoop03:3306/test \

--username root \

--password root \

--table sqoop_job \

--target-dir /sqoop/import/user_parquet \

--delete-target-dir \

--num-mappers 1 \

--as-parquetfile

 

创建hive外部表:

 

CREATE external TABLE `ex_parquet_sqoop_job` (

  `id` int ,

  `name` string ,

  `jobname` string ,

  `date_time` string ,

  `time` string

)

stored as parquet

location "/sqoop/import/user_parquet" ;

 

查询结果:

+-----+--------+-----------+------------+----------------------+--+

| id  |  name  |  jobname  | date_time  |         time         |

+-----+--------+-----------+------------+----------------------+--+

| 1   | name1  | jobname1  | NULL       | 2015-11-09 21:00:00  |

| 2   | name2  | jobname2  | NULL       | 2015-11-09 22:00:00  |

| 3   | name3  | jobname3  | NULL       | 2015-11-09 23:00:00  |

| 4   | name4  | jobname4  | NULL       | 2015-11-10 21:00:00  |

+-----+--------+-----------+------------+----------------------+--+

发现date_time字段为null;试过将date_time字段类型换为timestamp、bigint均为null；

无奈，果断安装sqoop1.4.7。

6.   安装sqoop1.4.7（sqoop1.4.7+hive1.2.0的版本）

  下载：http://mirror.bit.edu.cn/apache/sqoop/1.4.7/

  6.1  初次执行sqoop 1.4.7 :import  报错

 

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver

解决：lib/下添加mysql连接jar包：

 ln -s /home/software/sqoop-1.4.4.bin__hadoop-2.0.4-alpha/lib/mysql-connector-java-5.1.38-bin.jar /home/software/sqoop1.4.7/lib/mysql-connector-java-5.1.38-bin.jar

 

 

java.lang.ClassNotFoundException: org.json.JSONObject

解决：下载java-json.jar包,放到lib/目录下.下载地址: http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm

 

继续填坑:

19/03/03 16:43:50 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

19/03/03 16:43:50 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

 

解决:原因是缺少hive的hive-common-<version>.jar包;找到hive/lib/下的hive-common-<version>.jar将其添加到sqoop的lib/下(我的是hive-common-1.2.0.jar):

ln -s /home/software/apache-hive-1.2.0-bin/lib/hive-common-1.2.0.jar /home/software/sqoop1.4.7/lib/hive-common-1.2.0.jar

 

 

解决之后继续执行import出现:

19/03/03 16:50:33 INFO hive.HiveImport: Loading uploaded data into Hive

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader

原因:

百度,有大佬说: shims相关类是用来兼容不同的hadoop和hive版本的

详见:   https://blog.51cto.com/caiguangguang/1564601

估计是sqoop1.4.7版本与hive1.2.0版本不兼容吧,于是更新hive到hive2.3.4的版本.

 

7.   安装、配置hive2.3.4 （sqoop1.4.7+hive2.3.4的版本）

 

   具体安装配置见我的另外一篇文章。。。。

7.1  替换hive-common-2.3.4.jar

删除原来hive-common-1.2.0.jar的软连接，替换为hive-common-2.3.4.jar：

ln -s /home/software/apache-hive-2.3.4-bin/lib/hive-common-2.3.4.jar /home/software/sqoop1.4.7/lib/hive-common-2.3.4.jar

7.2  修改sqoop-env.sh  hive_home路径

 

7.3  执行import 作业 .

 

Mysql --> parquet hive表:失败

sqoop import --connect jdbc:mysql://hadoop03:3306/test --username root --password root --table sqoop_job --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite --create-hive-table  --hive-table test.sqoop --delete-target-dir -m 1 --null-string '\\N' --null-non-string '\\N' --as-parquetfile

 

提示:  Hive import and create hive table is not compatible with importing into ParquetFile format.

表明1.4.7的也是不支持parquetfile直接导入hive表的;

同时,--as-parquetfile   hive中表事先存在也不行.

 

Mysql --> hdfs -->  parquet hive表:成功

--as-parquetfile配合--query一起使用：支持

sqoop import \

--connect jdbc:mysql://hadoop03:3306/test \

--username root \

--password root \

--query 'SELECT id as id,name as name ,jobname as jobname,formatTimeStamp as date_time,time as time FROM test.sqoop_job WHERE $CONDITIONS' \

--target-dir /sqoop/import/user_parquet \

--delete-target-dir \

--num-mappers 1 \

--as-parquetfile

 

hive建立外部表:

CREATE external TABLE `ex_parquet_sqoop_job` (

  `id` int ,

  `name` string ,

  `jobname` string ,

  `date_time` bigint ,

  `time` string

)

stored as parquet

location "/sqoop/import/user_parquet" ;

 

查看结果:

 

0: jdbc:hive2://hadoop03:20000/> select * from ex_parquet_sqoop_job;

+--------------------------+----------------------------+-------------------------------+---------------------------------+----------------------------+

| ex_parquet_sqoop_job.id  | ex_parquet_sqoop_job.name  | ex_parquet_sqoop_job.jobname  | ex_parquet_sqoop_job.date_time  | ex_parquet_sqoop_job.time  |

+--------------------------+----------------------------+-------------------------------+---------------------------------+----------------------------+

| 1                        | name1                      | jobname1                      | 1447074000000                   | 2015-11-09 21:00:00        |

| 2                        | name2                      | jobname2                      | 1447077600000                   | 2015-11-09 22:00:00        |

| 3                        | name3                      | jobname3                      | 1447081200000                   | 2015-11-09 23:00:00        |

| 4                        | name4                      | jobname4                      | 1447160400000                   | 2015-11-10 21:00:00        |

+--------------------------+----------------------------+-------------------------------+---------------------------------+----------------------------+

date_time是时间戳的数据存储了.

date_time类型建为除bigint类型的其他类型会报错:

 

  • Error: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable (state=,code=0)
  • Error: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.hive.serde2.io.DateWritable (state=,code=0)

 

注意: hive表与mysql字段名不一致时,parquet文件,还是要使用--query  sql语句指定对应的别名与源mysql表中的字段对应,最好都这样做.否则,仍会发现date_time是null的情况.(上面5小节的问题应该也是这个的问题,之前没发现)

如使用这个import语句:

sqoop import \

--connect jdbc:mysql://hadoop03:3306/test \

--username root \

--password root \

--table sqoop_job \

--target-dir /sqoop/import/user_parquet \

--delete-target-dir \

--num-mappers 1 \

--as-parquetfile

 

最后体会,还是尽量都更新为最新的比较稳定的版本吧.

我是A_lin呀
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
sqoop报错 tablename is not alphanumeric (plus ‘_‘)
yy的博客
10-29 1178
当前环境 sqoop版本:Sqoop 1.4.7-cdh6.2.0 使用的cdh6.2.0 报错内容: ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.ValidationException: Dataset name ods.tmp_ods_fact_issue_issue is not alphanumeric (plus '_') org.kitesdk.data.ValidationExcep...
Spark创建hive表报错 ROW FORMAT DELIMITED is only compatible with ‘textfile‘, not ‘orc‘
m0_46282787的博客
02-16 2673
创建hive表失败： 报错异常信息： Operation not allowed: ROW FORMAT DELIMITED is only compatible with 'textfile', not 'orc'(line 1, pos 0) == SQL == create table src_test1111( ^^^ id string comment '序号', name string comment '姓名' )comment '测试表' row format delimited .
Spark 创建 hive表报错 ROW FORMAT DELIMITED is only compatible with 'textfile', not 'parquet'
jast
10-09 4145
场景： 在spark分析数据时，创建hive表失败。 提示异常 ： 19/10/09 10:59:18 INFO execution.SparkSqlParser: Parsing command: CREATE EXTERNAL TABLE IF NOT EXISTS dm_xxx.user_area(biFollowersCount String,city String,creat...
大数据高频面试题之Hive的数据存储格式
czxylzl的博客
04-15 532
类型 texfile：默认的存储格式：普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。 sequencefile：提供的一种二进制存储格式，可以切割，天生压缩。 rcfile：提供的是一种行列混合存储方式，该方式会把相近的行和列数据放在一块儿，存储比较耗时，查询效率高，也天生压缩。 orc：是rcfile的一种优化存储。 parquet：自定义输入输出格式。 具体描述 1）texfile普通文本文件（通常默认的就是这个格式） 创建表 create table if not exists one (
sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.ValidationException: Namespace test.db i
玉麒麟
09-06 858
20/09/06 18:02:40 ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.ValidationException: Namespace test.db is not alphanumeric (plus '_') org.kitesdk.data.ValidationException: Namespace test.db is not alphanumeric (plus '_') at org.k...
sqoop1.x 导入数据
01-11
### Sqoop 1.x 数据导入详解 #### 一、Sqoop 概述 Sqoop 是一款开源工具，用于高效地在 Hadoop 和关系型数据库之间传输数据。它通过 JDBC 连接到关系型数据库，并利用 MapReduce 作业并行化数据传输过程。本文将...
sqoop-1.4.7.jar
01-27
解决错误：Could not find or load main class org.apache.sqoop.Sqoop。把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中，即可。 如果你没有积分，也可以自己去这个地址下载：...
sqoop-1.4.6.2.3.99.0-195.jar..zip
08-14
编译Atlas用 sqoop-1.4.6.2.3.99.0-195.jar 内含安装jar包以及maven手动安装命令 详情可参考我的博客： https://blog.csdn.net/qq_26502245/article/details/108008070
sqoop使用.txt
11-06
sqoop数据导出工具
Sqoop 安装.docx
05-20
1. **移动并解压 Sqoop 压缩文件** 首先，将下载的 Sqoop 压缩文件移至 `/opt/models` 目录，然后使用 `tar` 命令解压到 `/opt/install` 文件夹下： ``` sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz /...
关于hive表row format格式的问题
newhandnew413的博客
07-22 6317
创建表时指定的各种参数中关于行的格式 create table tablename( 列名 类型， ... ) row format delimited fields terminated by '\t' 这个只与存于hdfs上表中的文件的数据格式有关，如果是通过MapReduce计算插入的数据不需要判定数据格式 insert into table tablename select * from tablename1; 但是这样必须保证这两个表的列的个数和类型一致，不然会出错。 注意：如果我们创建
Datax抽取数据到hive中decimal类型操作
hzp666的博客
05-18 1913
一、问题背景 之前在做Datax数据同步时，发现源端binary、decimal等类型的数据无法写入hive字段。看了一下官网文档，DataX HdfsWriter 插件文档，是1-2年前的，当初看过部分源码其实底层hadoop是支持这些类型写入的，后来随着工作变动也忘了记录下来，借着近期datax群里又有人问起，勾起了回忆，索性改一下源码记录一下。 很重要的一点：我们其实要知道，datax只不过是个集成了异构数据源同步的框架，真正的读取和写入都是数据源底层本身支持功能才能用，所以要想知道某个功能支不支持
sqoop命令大全和踩坑大全
javaMylife的博客
02-28 1160
目录Import(Mysql到Hive/hdfs)参数解释------------dbms相关--------------connect✳✳--table --where--columns--query✳--m--split-by id✳✳------------hdfs相关--------------as-textfile--compress--compression-codec gzip--null-non-string✳✳--null-string✳✳--fields-terminated-by✳--
【sqoop】异常解决
依旧的博客
10-30 6647
一、Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf$ConfVars Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf$ConfVars at org.apache.hive.hcatalog.common.HCatConstants.&lt...
sqoop：数据转换工具
eyeofeagle的博客
08-20 1832
要点如下： 安装配置 关系型数据库<-->hadoop类型数据：互相转换 使用 sqoop job #测试jdbc连接 sqoop list-databases --connect 'jdbc:mysql://localhost:3306' --username 'root' --password 123456 #查询jdbc数据 sqoop eval --connect j...
sqoop
coldmaplely的博客
10-13 367
sqoop是一个hadoop(hdfs、hbase、hive)和结构数据库(关系型数据库)之间进行数据整合的工具、可用于数据迁移。
Sqoop常见报错及解决方式
清平乐的技术专栏
07-07 6025
1.java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 原因：[SQOOP_HOME]/lib/下缺少mysql驱动包 2.Caused by: java.lang.RuntimeException: Can’t parse input data: '800 1 620025 塑料油箱 '；java.io.IOException: Can’t export data, please check
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）
07-15 7276
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比） 综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapReduce；如果是其他的类型就需要走Ma.
十三（1）、sqoop遇到的问题
Angular_need的博客
02-14 818
1、从mysql抽数到hive，hive表为parquet存储格式，导入语句为： sqoop import –connect jdbc:mysql://${MYSQL_HOST}
Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
最新发布
05-18
这个错误是 Sqoop 导出数据时遇到的错误。可能的原因是： 1. 数据库连接失败：请检查数据库连接的用户名、密码、主机名、端口号等信息是否正确。 2. 目标路径不存在：请确保目标路径已经存在，或者在 Sqoop 命令中...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值