sqoop
文章平均质量分 83
七年·
这个作者很懒,什么都没留下…
展开
-
sqoop export导出数据到mysql(追加/更新)
准备数据:data.txt1,zhangsan,18,2020-01-012,lisi,19,2020-02-023,wangwu,20,2020-03-034,zhaoliu,21,2020-04-045,tianqi,22,2020-05-056,luba,23,2020-06-067,sunjiu,24,2020-07-078,gaoshi,25,2020-08-089,xiaoshiyi,26,2020-09-0910,wushier,27,2020-10-10将数据放到h原创 2020-10-28 23:51:06 · 6771 阅读 · 0 评论 -
sqoop保存/查看/删除job
创建jobbin/sqoop job --create myjobbin/sqoop job --create myjob -- import --connect jdbc:mysql://node03:3306/test --username root --password 123456 --table sqooptest --m 1 --fields-terminated-by '\001' --hive-import --hive-table sqooptest.sqooptest --tar原创 2020-10-28 00:33:03 · 950 阅读 · 0 评论 -
sqoop导入hdfs和hive(追加/增量/覆盖)
提前准备mysql数据DROP TABLE IF EXISTS `sqooptest`;CREATE TABLE `sqooptest` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=latin1;INSERT INTO `sqooptest` VALUES原创 2020-10-28 00:18:07 · 5909 阅读 · 0 评论 -
azkaban调度实例(impala+kudu+hdfs+sqoop+mysql )
创建一个基于impala+kudu+hdfs+sqoop+mysql 的调度test实例kudu存储ods数据,impala用于计算,结果表落入hdfs,sqoop导出hdfs文件(表)到mysql以下文件顺序依次调用azkaban配置文件:bas.properties###源库名 用于impala/hive仓库取数计算origindb=ods###库名 用于计算或者存储中间结果targetdb=test### mysl数据库 用于sqoop导出 ###dburl=jdbc:mysql:原创 2020-06-30 11:47:03 · 887 阅读 · 0 评论 -
sqoop export命令参数
--direct 利用数据库自带的导入导出工具--export-dir 指定要导出的文件所在hdfs目录--m或者--num-mappers 启动多少个mapper 默认4--table 指定的导入的关系型数据库的表名--update-key 对某些字段进行更新,相当于upsert--update-mode updateonly或者allowinsert(默认)--原创 2020-06-29 14:36:08 · 1944 阅读 · 0 评论 -
sqoop import命令参数
--append 将数据追加到hdfs中--as-avrodatafile 将文件导入到一个avro文件中--as-sequencefile 将数据导入到一个sequencefile中--as-textfile 将数据导入到一个文本文件--boundary-query 边界查询,导入的数据为该参数的值(一条sql语句)所执行的结果区间内的数据--columns 指定要导入的列,用逗号分隔--direct原创 2020-06-29 14:26:04 · 763 阅读 · 0 评论 -
sqoop 公共命令详解
常用命令注:所有命令 ./sqoop help import-参数 中间没有空格,博客中- -会显示成一条杠,所以这里加了空格–connect数据库连接地址––––––––––––––––––––––––––––––––原创 2020-06-29 14:05:26 · 396 阅读 · 0 评论 -
sqoop常用命令
sqoop命令bin/sqoop xxx1 import 将数据导入hdfs2 export 将数据从hdfs导出3 codegen 获取关系型数据库中的表数据生成java jar4 create-hive-table 创建hive表5 eval 查看sql执行结果6 import-all-tables 导入库下面所有的表到hdfs7 job 生成sqoop任务,以便后续执行(类似于定义一个函数,用时候直接通过job名字调用)8 list_databases 列出所有数据库名9 l原创 2020-06-22 22:41:18 · 252 阅读 · 0 评论