![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
sqoop的操作
Apache Sqoop是用来实现结构型数据(如关系数据库)和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输,同时也借助MapReduce实现了容错。项目地址: http://sqoop.apache.org/目前为止,已经演化出了2个版本:sqoop1和sqoop2。sqoop1的最新版本是1.4.5,sqoop2的最新版本是1.99.3...原创 2018-07-03 01:11:32 · 641 阅读 · 0 评论 -
怎么通过sqoop导入导出到MySQL
sqoop mysql 导入,导出1.安装(前提hadoop启动)[hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz [hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/[hadoop@h9...原创 2018-07-06 02:14:57 · 5682 阅读 · 0 评论 -
sqoop的搭建
1 安装(前提hadoop启动)[hadoop@h91 ~]$ tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz [hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-2.6.0-cdh5.5.2.jar /home/hadoop/sqoop-1.4.6-cdh5.5.2/lib/[hadoop@h91 ~]$ cp ojdb...原创 2018-07-07 00:30:34 · 991 阅读 · 0 评论 -
sqoop从mysql到hive实现定时增量导入
1、 第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\ --username xxx--password xxx\ --t...原创 2018-08-27 13:46:39 · 2855 阅读 · 0 评论 -
sqoop从mysql到hive导入时分隔符问题
核心参数–check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型,如char、varchar等类型都是不可以的,同时–check-column可以去指定多个列 –incremental 用来指定增量导入的模式,两种模式分别为Append和Lastm...原创 2018-08-27 13:50:28 · 3264 阅读 · 0 评论 -
写一个sqoop增量导入的shell脚本
每隔2分钟,就往hive中增量导入数据。#!/bin/shexport SQOOP_HOME=/usr/share/sqoop-1.4.4hostname="192.168.1.199"user="root"password="root"database="test"table="tags"curr_max=0function db_to_hive(){ ${S...原创 2018-08-27 13:53:22 · 3138 阅读 · 0 评论 -
从mysql用sqoop导入到hive的具体步骤
需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \--connect jdbc:mysql://172.16.71.27:3306/baba...原创 2018-08-27 13:56:01 · 1933 阅读 · 0 评论