sqoop
花和尚也有春天
会收集一些不错的文章,时常品读,也学着自己总结一些东西,坚持努力的方向!
展开
-
sqoop:import 及各参数释义(导入hive或hbase)
从mysql拉取:方式一:sqoop import --connect jdbc:mysql://172.***.***34/linj --username ***--password ***--table T_GW_*** --hive-import --hive-database os --hive-table os_shanghai_***1 --hive-overwrite -...原创 2019-11-20 19:23:40 · 1627 阅读 · 0 评论 -
sqoop:export及各参数释义
mysql:全量导出:#!/bin/bashsqoop eval --connect "jdbc:mysql://172.***.***.170:3309/p_b?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&useSSL=true" \--username *** \--passwor...原创 2019-11-20 14:35:37 · 3622 阅读 · 0 评论 -
sqoop:import时过滤条件
全量导入:sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --hive-import --hive-database tmp --hive-table hive_mobile_test --h...原创 2019-11-20 11:15:49 · 177 阅读 · 0 评论 -
sqoop:简单import使用
一、sqoop作用?sqoop是一个数据交换工具,最常用的两个工具是导入导出。导入导出的参照物是hadoop,向hadoop导数据就是导入。二、sqoop的版本?sqoop目前有两个版本,1.4.X为sqoop1;1.99.X为sqoop2。两个版本不兼容。三、使用sqoop列出mysql下的所有数据库 (my_python_env)[root@hadoop26 ~]...转载 2019-01-09 12:51:04 · 2111 阅读 · 0 评论 -
hive:sqoop导数据到hive,时间日期格式变为时间戳处理方式
以下是两种不同格式:from_unixtime(ceil(update_time/1000),'yyyy-MM-dd HH:mm:ss')from_unixtime(ceil(1536249600000/1000),"yyyy-MM-dd'T'HH:mm:ss'Z'")select cs.cno, o.fullname, bb.name office, bt.n...原创 2019-06-07 13:03:34 · 2929 阅读 · 0 评论 -
sqoop:File does not exist:
sqoop从mysql中拉表报错:02-08-2019 10:47:28 CST bi_cal_resume_achieve_sqoop_import INFO - 19/08/02 10:47:28 INFO hive.metastore: Trying to connect to metastore with URI thrift://pf-bigdata1:908302-08-201...原创 2019-08-02 18:38:00 · 1587 阅读 · 0 评论 -
sqoop:解决import时字段为NULL值的情况
想必有些朋友刚开始接触sqoop时,在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL, 为什么到hive查询后 where field is null 会没有结果呢,然后通过检查一看 居然NULL值都变成了字段串'null'。其实你在导入的时候加上以下两个参数就可以解决了,--null-string '\\N'--null-non...转载 2019-09-19 15:47:54 · 1328 阅读 · 0 评论