数据仓库之mysql业务数据上传到hdfs

最新推荐文章于 2023-09-20 22:00:00 发布

郭惠姗

最新推荐文章于 2023-09-20 22:00:00 发布

阅读量666

点赞数

分类专栏： sqoop 文章标签：数据仓库大数据

本文链接：https://blog.csdn.net/guohuishan/article/details/108131062

版权

本文介绍了如何将MySQL中的业务数据，如登陆、订单等，利用sqoop迁移到Hadoop的HDFS上。过程中涉及MySQL 5.6.24、sqoop 1.4.6和hadoop 3.2.1的版本配置，并提供了一种shell脚本实现。在实际操作中遇到导入速度慢的问题，引发对内存优化的思考。

摘要由CSDN通过智能技术生成

业务数据就是业务流程中产生的登陆、订单、用户、商品、支付等相关的数据，通常存储在DB中，包括mysql、oracle等

mysql版本：5.6.24
sqoop版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
hadoop版本：3.2.1

编写脚本mysql_to_hdfs.sh

#! /bin/bash

sqoop=/opt/module/sqoop/bin/sqoop
do_date=`date -d '-1 day' +%F`

if [[ -n "$2" ]]; then
    do_date=$2
fi

import_data(){
$sqoop import \
--connect jdbc:mysql://clus13:3306/gmall \
--username root \
--password 123456 \
--target-dir /origin_data/gmall/db/$1/$do_date \
--delete-target-dir \
--query "$2 and  \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N'  \
--null-non-string '\\N'

hadoop jar /opt/module/hadoop-3.2.1/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/gmall/db/$1/$do_date
}

import_order_info(){
  import_data order_info "select
                            id, 
                            final_total_amount, 
                            order_status, 
                            user_id, 
                            out_trade_no, 
                            create_time, 
                            operate_time,
                            province_id,
                            benefit_reduce_amount,
                            original_total_amount,
                            feight_fee      
                        from order_info
                        where (date_format(create_time,'%Y-%m-%d')='$do_date' 
                        or date_format(operate_time,'%Y-%m-%d')='$do_date')"
}

import_coupon_use(){
  import_data coupon_use "select
                          id,
                          coupon_id,
                          user_id,
                          order_id,
                          coupon_status,
                          get_time,
                          using_time,
                          used_time
                        from coupon_use
                        where (date_format(get_time,'%Y-%m-%d')='$do_date'
                        or date_format(using_time,'%Y-%m-%d')='$do_date'
                        or date_format(used_time,'%Y-%m-%d')='$do_date')"
}

import_order_status_log(){
  import_data order_status_log "select
                                  id,
                                  order_id,
                                  order_status,
                                  operate_time
                                from order_status_log
                                where date_format(operate_time,'%Y-%m-%d')='$do_date'"
}

import_activity_order(){