![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
郭惠姗
这个作者很懒,什么都没留下…
展开
-
安装sqoop以及测试连接数据库
sqoop是一款开源的工具,主要用于hadoop(hive)与传统的数据库(mysql,oracle)间进行数据的传递,可以将一个关系型数据库中的数据导进到hadoop的hdfs中,也可以将hdfs的数据导入到关系型数据库中。 集群搭建中需要安装sqoop,步骤如下: 1.上传 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到bigdata02的/opt/software路径中 2.解压 tar -zxf sqoop-1.4.6.bin__hadoop-2.0原创 2020-08-21 18:35:48 · 2270 阅读 · 0 评论 -
数据仓库之mysql业务数据上传到hdfs
业务数据就是业务流程中产生的登陆、订单、用户、商品、支付等相关的数据,通常存储在DB中,包括mysql、oracle等 mysql版本:5.6.24 sqoop版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz hadoop版本:3.2.1 编写脚本mysql_to_hdfs.sh #! /bin/bash sqoop=/opt/module/sqoop/bin/sqoop do_date=`date -d '-1 day' +%F` if [[ -n "$2"原创 2020-08-20 19:54:39 · 666 阅读 · 0 评论