sqoop
文章平均质量分 57
吃鱼的羊
这个作者很懒,什么都没留下…
展开
-
hadoop生态之---sqoop导入数据导致精度丢失
用sqoop --query选项在查询的时候将decimal字段concat(field_name)为str类型目前在查询国内论坛没有找到相关的解决办法https://blog.csdn.net/mzqadl/article/details/104526202精度丢失问题异常信息WARN hive.TableDefWriter: Column your_column had to be cast to a less precise type in Hive1描述:使...转载 2021-06-22 13:55:39 · 521 阅读 · 0 评论 -
decimal,float和double的区别是什么?
https://zhuanlan.zhihu.com/p/352503879今天复习mysql理论知识,在看常用数据类型的时候发现float和decimal类型都是表示小数,就展开搜索学习了一下区别,分享给大家:表示小数的一共有三种类型:float是单精度,double是双精度,decimal是数字型,它们所占的内存空间不一样,表示的位数也不一样。1、精度:float单精度小数部分能精确到小数点后面6位,用 32 位二进制进行描述 double双精度小数部分能精确到小数点后的15.转载 2021-06-22 13:54:18 · 8138 阅读 · 0 评论 -
Sqoop exoprt 实战避坑(parquet格式 ,columns 参数详解)
https://blog.csdn.net/qq_35995514/article/details/108542495目录一、Parquet+Snappy 压缩格式的数据export1.创建表 dwd_report_site_hour2.解决方式二、Sqoop exportcolumns 参数说明1.Hive字段顺序和MySQL保持一致2. Sqoop export columns 中的字段顺序调整3.测试 Sqoop exportcolumns 中 减少一个字段...转载 2021-06-22 13:18:10 · 656 阅读 · 0 评论 -
Sqoop import as-parquetfile时兼容decimal数据类型解决方案(抽取MySQL数据到Hive中,decimal问题)
转载自:https://blog.csdn.net/Sheepflysun/article/details/108247256一、sqoop import 问题总结Sqoop import as-parquetfile时兼容decimal数据类型问题1.建表不压缩,默认存储格式 Textfile>>>>>sqoop 导入不压缩,不指定存储格式1.1 MySQL:decimal————>Hive:decimal, sql 查询该字段,默认为Null值; 在hdfs转载 2021-06-22 13:17:27 · 987 阅读 · 0 评论 -
使用Sqoop导入导出parquet格式的Hive表
1、导入sqoop import \--connect jdbc:mysql://10.10.0.1:3306/test \--username root \--password 123456 \--table session_detail \--hive-import \--hive-overwrite \--hive-databbase xiet \--fields-terminated-by '\001' \--target-dir /user/hive/temp_sqo...转载 2021-06-22 13:16:55 · 678 阅读 · 0 评论 -
Sqoop 支持 ORC 文件格式
ORC 介绍ORC 文件格式是 Hive 0.11.0 版本引入的一种文件格式。ORC 的引入是为了解决其他 Hive 文件格式的局限性。使用 ORC 文件格式提升 Hive 读取、写入及处理数据的性能。与 RCFile 对比,ORC 文件格式有很多优点:每个 Task 只输出一个文件,降低 NameNode 的负载。 Hive 数据类型支持,包括:datetime、decimal 以及复杂数据类型(struct、list、map、union)。 文件中存储轻量级的索引: 跳过不通过谓转载 2021-06-22 13:05:59 · 2145 阅读 · 0 评论 -
sqoop的原生抽取方式与HCatalog抽取的区别
https://blog.csdn.net/m0_49834705/article/details/1111985021. Sqoop抽取的两种方式对于Mysql数据的采集,通常使用Sqoop来进行。通过Sqoop将关系型数据库数据到Hive有两种方式,一种是原生Sqoop API,一种是使用HCatalog API。两种方式略有不同。HCatalog方式与Sqoop方式的参数基本都是相同,只是个别不一样,都是可以实现Sqoop将数据抽取到Hive。Sqoop可以实现Hadoop集群与关...转载 2021-06-22 13:05:14 · 1019 阅读 · 0 评论