![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
yagch
这个作者很懒,什么都没留下…
展开
-
oracle sqoop hdfs 示例
sqoop export \--connect jdbc:oracle:thin:@121.36.164.xxx:1521:HELOWIN \--username test1 \--password test1 \--fields-terminated-by '\t' \--table TEST1.STUDENT \--export-dir /user/hive/warehouse/o...原创 2020-03-17 09:27:46 · 105 阅读 · 0 评论 -
sqoop 4种密码使用模式
背景sqoop是一个用来将Hadoop和关系型数据库(RDBMS)中的数据进行相互转移的工具。在使用sqoop时,我们需要提供数据库的访问密码。目前sqoop共支持4种输入密码的方式:明文模式交互模式文件模式别名模式笔者使用的是CDH6.2.1里的sqoop。在待会的演示中,我们将以mysql作为我们的关系型数据库。明文模式明文模式是最为简单的方式。我们可以在执行sqoop命令...转载 2019-12-31 16:52:14 · 1135 阅读 · 1 评论 -
Sqoop --split by 支持的类型及现象
varchar现象1、抽取失败2、-m 指定多个任务,会无法切分任务,抽过来的数据行数有可能发生偏差当你的抽取任务指定的split key 为varchar 时最好指定任务个数为1int现象当int的范围特别小的时候,最后一个mapper会有一定倾斜split key 支持的好的数据类型BigDecimal,Boolean,Date,Float,IntegerBigDecim...原创 2019-12-23 11:05:58 · 1333 阅读 · 0 评论 -
sqoop export 分隔符问题
sqoop 导出如果分隔符指定的不对会导致hive 进sqoop 数据不能正确的分隔,会造成导出任务失败。Hive应用:选取分隔符在使用hive的时候,分隔符是必不可少的,当学习的时候使用的都是常规分隔符,比如:逗号“,”、竖线“|”等,这些键盘上都可以直接输入的字符,但是这些字符只要是键盘上的,在针对复杂的业务逻辑的时候,都会失效。比如你有一个备注字段,这个字段允许用户输...原创 2019-12-03 12:03:18 · 1651 阅读 · 0 评论 -
sqoop 连接超时
连接超时有两种情况1、任务直接报连接超时关系型数据库的白名单中没有添加nodemanager的节点2、任务执行一段时间后报连接超时关系型数据库的白名单中只添加nodemanager的部分节点看yarn 日志 总日志和单任务的日志会发现,添加白名单的节点上的任务都成功了,没有添加的失败了。...原创 2019-10-29 17:15:57 · 1922 阅读 · 0 评论 -
sqoop 导出时数据一致性问题
sqoop 底层运行的其实是map 任务,默认4个map如果4个map中有两个map失败了,但是另外两个是成功的。这个时候导入进mysql中的数据是不正确的,重新再导一次全部任务都成功,这两次的数据会不一致。为了保证导出的时候数据是一致的sqoop有两个参数配合使用sqoop 导出时并不会自动创建表需要自己手动创建,如果使用这两个参数的话还有创建一个结构一样的 表名_temp的mysql表...原创 2019-10-28 22:06:21 · 3361 阅读 · 0 评论 -
sqoop mysql sql server hive 空值转换
0、说明 hive中的空值默认存储为\N ,mysql和sql server 中的空值存储为null。 在sqoop导入导出的过程中需要解决空值转换的问题import使用参数 把mysql 和sql server中的null 转换为 \N–input-null-string ‘\N’–input-null-non-string ‘\N’export使用参数 把hive中的\N转...原创 2019-10-28 21:57:42 · 458 阅读 · 0 评论 -
sqoop sqlserver to hbase
create table student(id int,name varchar(255),score int ,home varchar(255));insert into student VALUES(1,'yang',90,'beijing');insert into student VALUES(2,'chong',90,'hanghzou');与mysql相比,只是改变...原创 2019-10-21 19:29:27 · 111 阅读 · 0 评论 -
sqoop mysql to hbase
mysql 建表create table. student(id int(11),name varchar(255));insert into student values(1,'yang');hbase 建表create 'hbase_student','info'查看hbase中有哪些表listhbase表不存在会自动创建--hbase-create-table ...原创 2019-10-21 19:22:13 · 71 阅读 · 0 评论 -
sqoop 连接mysql 错误解决
1、Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils解决方法:在apache 上下载commons-lang-2.6.jar包并上传到lib下即可,下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache//com...原创 2019-10-21 19:09:48 · 1928 阅读 · 0 评论 -
sqoop SQL server to hive
sqoop sql server to hive--全量导入hdfssqoop import \--connect 'jdbc:sqlserver://al-node3:1433;database=test' \--username sa --password 123 \--table student \--target-dir "/test" \--delete-target-...原创 2019-10-21 19:01:31 · 132 阅读 · 0 评论 -
sqoop hive to sqlserver
不能使用--staging-table 参数只有两种模式更新更新和插入这个参数必须要加-- --identity-insert--hive建表create table if not exists test.student(id int,name string,score int,home string)row format delimited f...原创 2019-10-21 18:59:33 · 315 阅读 · 0 评论 -
sqoop hive to mysql
hive to mysql 有三种模式1、默认是把hive中的数据插入到进mysql的 表中2、更新mysql中的数据3、更新和插入mysql中的数据mysql 和 hive中空值存储转化--input-null-string '\\N' \--input-null-non-string '\\N' \先把数据导入到临时表中,成功之后 再把临时表中 的数据导...原创 2019-10-21 18:55:20 · 486 阅读 · 0 评论 -
sqoop把mysql库中所有表一次性导入hdfs
sqoop把mysql库中所有表一次性导入hdfs使用import-all-tables,它是强制性的,在该数据库中的每个表必须有一个主键字段。如果有的表没有主键会报错,提示Please specify one with --split-by or perform a sequential import with '-m 1'这是因为sqoop 默认四个任务,不指定--split...原创 2019-10-21 18:47:22 · 646 阅读 · 0 评论 -
Sqoop 列出mysql所有库、库中所有表
使用sqoop列出mysql中所有的库和库中的表sqoop list-tables --connect jdbc:mysql://node1:3306/test --username root --password root使用sqoop列出mysql中库中的表sqoop list-databases --connect jdbc:mysql://node1:3306 --userna...原创 2019-10-21 18:06:08 · 1698 阅读 · 0 评论 -
sqoop mysql数据进hive 数据条数 膨胀变多 变成脏数据
当mysql表中数据含有 \r 或者\n 导入数据到hive会造成数据条数的膨胀,出现大量的脏数据,因为hive表默认的行分隔符时 \n解决方案去除mysql中的 \r \n#mysql建表create table student(id int(10),name varchar(255));insert into student values(1,'{yang\r \n ...原创 2019-10-11 18:04:03 · 631 阅读 · 0 评论 -
Sqoop eval 工具
Sqoop eval 工具允许用户执行用户定义的查询,支持DDL或DML语句可以使用sqoop 完全的控制mysqlsqoop eval --connect jdbc:mysql://node1:3306/test --username root --password root --query "show tables"sqoop eval --conn...原创 2019-10-21 17:56:37 · 468 阅读 · 0 评论