数仓采集项目【系统表同步策略、业务数据同步脚本分析、hive安装】

最新推荐文章于 2024-03-08 16:42:08 发布
最新推荐文章于 2024-03-08 16:42:08 发布
阅读量339 收藏 4
点赞数
分类专栏： 数仓采集项目 文章标签： hive big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43923463/article/details/125283900
版权
本文详细介绍了从MySQL到HDFS的数据同步策略，包括全量、增量、新增及变化、特殊策略，并提供了首日和每日同步脚本。同时，分享了Hive的安装步骤，涉及元数据配置到MySQL以及启动Hive的相关操作。
摘要由CSDN通过智能技术生成

文章目录

1 同步策略

同步策略：在从MySQL导入某一张表到HDFS时，导入哪些数据

数据同步策略的类型包括：全量同步、增量同步、新增及变化同步、特殊情况

  • 全量表：导入完整的数据。
  • 增量表：导入新增加的数据。
  • 新增及变化表：导入新增加的数据和变化的数据。
  • 特殊表：只需要导入一次。

（1）全量同步策略

每日全量，就是每天存储一份完整数据，作为一个分区。

适用于表数据量不大，且每天既会有新数据插入，也会有旧数据的修改的场景。

例如：编码字典表、品牌表、商品三级分类、商品二级分类、商品一级分类、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠卷表、SKU商品表、SPU商品表
在这里插入图片描述

（2）增量同步策略

每日增量，就是每天存储一份增量数据，作为一个分区。

适用于表数据量大，且每天只会有新数据插入的场景。例如：退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。
在这里插入图片描述

（3）新增及变化策略

每日新增及变化，就是存储创建时间和操作时间都是今天的数据。

适用场景为，表的数据量大，既会有新增，又会有变化。例如：用户表、订单表、优惠卷领用表。

（4）特殊策略

某些特殊的表，可不必遵循上述同步策略。

例如：没变化的客观世界的数据（比如性别，地区，民族，政治成分，鞋子尺码）可以只存一份。

（5）分析表同步策略

在这里插入图片描述

2 业务数据同步脚本

（1）首日同步脚本

首日同步时所有表都设置为全量同步策略

在~/bin目录下创建

vim mysql_to_hdfs_init.sh

#! /bin/bash
#定义两个变量
APP=gmall
sqoop=/opt/module/sqoop-1.4.6/bin/sqoop

# 如果是输入的日期取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$2" ] ;then
   do_date=$2
else 
   echo "请传入日期参数"
   exit
fi 
# 标准函数
import_data(){
$sqoop import \
--connect jdbc:mysql://hadoop101:3306/$APP \
--username root \
--password 123456 \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \
--query "$2 where \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'
# 对上传到HDFS的数据建立索引
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
}
# 以上函数需要传入的各个参数的执行过程
import_order_info(){
  import_data order_info "select
                            id, 
                            total_amount, 
                            order_status, 
                            user_id, 
                            payment_way,
                            delivery_address,
                            out_trade_no, 
                            create_time, 
                            operate_time,
                            expire_time,
                            tracking_no,
                            province_id,
                            activity_reduce_amount,
                            coupon_reduce_amount,                            
                            original_total_amount,
                            feight_fee,
                            feight_fee_reduce      
                        from order_info"
}

import_coupon_use(){
  import_data coupon_use "select
                          id,
                          coupon_id,
                          user_id,
                          order_id,
                          coupon_status,
                          get_time,
                          using_time,
                          used_time,
                          expire_time
                        from coupon_use"
}

import_order_status_log(){
  import_data order_status_log "select
                                  id,
                                  order_id,
                                  order_status,
                                  operate_time
                                from order_status_log"
}

import_user_info(){
  import_data "user_info" "select 
                            id,
                            login_name,
                            nick_name,
                            name,
                            phone_num,
                            email,
                            user_level, 
                            birthday,
                            gender,
                            create_time,
                            operate_time
                          from user_info"
}

import_order_detail(){
  import_data order_detail "select 
                              id,
                              order_id, 
                              sku_id,
                              sku_name,
                              order_price,
                              sku_num, 
                              create_time,
                              source_type,
                              source_id,
                              split_total_amount,
                              split_activity_amount,
                              split_coupon_amount
                            from order_detail"
}

import_payment_info(){
  import_data "payment_info"  "select 
                                id,  
                                out_trade_no, 
                                order_id, 
                                user_id, 
                                payment_type, 
                                trade_no, 
                                total_amount,  
                                subject, 
                                payment_status,
                                create_time,
                                callback_time 
                              from payment_info"
}

import_comment_info(){
  import_data comment_info "select
                              id,
                              user_id,
                              sku_id,
                              spu_id,
                              order_id,
                              appraise,
                              create_time
                            from comment_info"
}

import_order_refund_info(){
  import_data order_refund_info "select
                                id,
                                user_id,
                                order_id,
                                sku_id,
                                refund_type,
                                refund_num,
                                refund_amount,
                                refund_reason_type,
                                refund_status,
                                create_time
                              from order_refund_info"
}

import_sku_info(){
  import_data sku_info "select 
                          id,
                          spu_id,
                          price,
                          sku_name,
                          sku_desc,
                          weight,
                          tm_id,
                          category3_id,
                          is_sale,
                          create_time
                        from sku_info"
}

import_base_category1(){
  import_data "base_category1" "select 
                                  id,
                                  name 
                                from base_category1"
}

import_base_category2(){
  import_data "base_category2" "select
                                  id,
                                  name,
                                  category1_id 
                                from base_category2"
}

import_base_category3(){
  import_data "base_category3" "select
                                  id,
                                  name,
                                  category2_id
                                from base_category3"
}

import_base_province(){
  import_data base_province "select
                              id,
                              name,
                              region_id,
                              area_code,
                              iso_code,
                              iso_3166_2
                            from base_province"
}

import_base_region(){
  import_data base_region "select
                              id,
                              region_name
                            from base_region"
}

import_base_trademark(){
  import_data base_trademark "select
                                id,
                                tm_name
                              from base_trademark"
}

import_spu_info(){
  import_data spu_info "select
                            id,
                            spu_name,
                            category3_id,
                            tm_id
                          from spu_info"
}

import_favor_info(){
  import_data favor_info "select
                          id,
                          user_id,
                          sku_id,
                          spu_id,
                          is_cancel,
                          create_time,
                          cancel_time
                        from favor_info"
}

import_cart_info(){
  import_data cart_info "select
                        id,
                        user_id,
                        sku_id,
                        cart_price,
                        sku_num,
                        sku_name,
                        create_time,
                        operate_time,
                        is_ordered,
                        order_time,
                        source_type,
                        source_id
                      from cart_info"
}

import_coupon_info(){
  import_data coupon_info "select
                          id,
                          coupon_name,
                          coupon_type,
                          condition_amount,
                          condition_num,
                          activity_id,
                          benefit_amount,
                          benefit_discount,
                          create_time,
                          range_type,
                          limit_num,
                          taken_count,
                          start_time,
                          end_time,
                          operate_time,
                          expire_time
                        from coupon_info"
}

import_activity_info(){
  import_data activity_info "select
                              id,
                              activity_name,
                              activity_type,
                              start_time,
                              end_time,
                              create_time
                            from activity_info"
}

import_activity_rule(){
    import_data activity_rule "select
                                    id,
                                    activity_id,
                                    activity_type,
                                    condition_amount,
                                    condition_num,
                                    benefit_amount,
                                    benefit_discount,
                                    benefit_level
                                from activity_rule"
}

import_base_dic(){
    import_data base_dic "select
                            dic_code,
                            dic_name,
                            parent_code,
                            create_time,
                            operate_time
                          from base_dic"
}


import_order_detail_activity(){
    import_data order_detail_activity "select
                                                                id,
                                                                order_id,
                                                                order_detail_id,
                                                                activity_id,
                                                                activity_rule_id,
                                                                sku_id,
                                                                create_time
                                                            from order_detail_activity"
}


import_order_detail_coupon(){
    import_data order_detail_coupon "select
                                                                id,
								                                                order_id,
                                                                order_detail_id,
                                                                coupon_id,
                                                                coupon_use_id,
                                                                sku_id,
                                                                create_time
                                                            from order_detail_coupon"
}


import_refund_payment(){
    import_data refund_payment "select
                                                        id,
                                                        out_trade_no,
                                                        order_id,
                                                        sku_id,
                                                        payment_type,
                                                        trade_no,
                                                        total_amount,
                                                        subject,
                                                        refund_status,
                                                        create_time,
                                                        callback_time
                                                    from refund_payment"                                                    

}

import_sku_attr_value(){
    import_data sku_attr_value "select
                                                    id,
                                                    attr_id,
                                                    value_id,
                                                    sku_id,
                                                    attr_name,
                                                    value_name
                                                from sku_attr_value"
}


import_sku_sale_attr_value(){
    import_data sku_sale_attr_value "select
                                                            id,
                                                            sku_id,
                                                            spu_id,
                                                            sale_attr_value_id,
                                                            sale_attr_id,
                                                            sale_attr_name,
                                                            sale_attr_value_name
                                                        from sku_sale_attr_value"
}

case $1 in
  "order_info")
     import_order_info
;;
  "base_category1")
     import_base_category1
;;
  "base_category2")
     import_base_category2
;;
  "base_category3")
     import_base_category3
;;
  "order_detail")
     import_order_detail
;;
  "sku_info")
     import_sku_info
;;
  "user_info")
     import_user_info
;;
  "payment_info")
     import_payment_info
;;
  "base_province")
     import_base_province
;;
  "base_region")
     import_base_region
;;
  "base_trademark")
     import_base_trademark
;;
  "activity_info")
      import_activity_info
;;
  "cart_info")
      import_cart_info
;;
  "comment_info")
      import_comment_info
;;
  "coupon_info")
      import_coupon_info
;;
  "coupon_use")
      import_coupon_use
;;
  "favor_info")
      import_favor_info
;;
  "order_refund_info")
      import_order_refund_info
;;
  "order_status_log")
      import_order_status_log
;;
  "spu_info")
      import_spu_info
;;
  "activity_rule")
      import_activity_rule
;;
  "base_dic")
      import_base_dic
;;
  "order_detail_activity")
      import_order_detail_activity
;;
  "order_detail_coupon")
      import_order_detail_coupon
;;
  "refund_payment")
      import_refund_payment
;;
  "sku_attr_value")
      import_sku_attr_value
;;
  "sku_sale_attr_value")
      import_sku_sale_attr_value
;;
  "all")
   import_base_category1
   import_base_category2
   import_base_category3
   import_order_info
   import_order_detail
   import_sku_info
   import_user_info
   import_payment_info
   import_base_region
   import_base_province
   import_base_trademark
   import_activity_info
   import_cart_info
   import_comment_info
   import_coupon_use
   import_coupon_info
   import_favor_info
   import_order_refund_info
   import_order_status_log
   import_spu_info
   import_activity_rule
   import_base_dic
   import_order_detail_activity
   import_order_detail_coupon
   import_refund_payment
   import_sku_attr_value
   import_sku_sale_attr_value
;;
esac

（2）每日同步脚本

vim mysql_to_hdfs.sh

#! /bin/bash

APP=gmall
sqoop=/opt/module/sqoop-1.4.6/bin/sqoop

if [ -n "$2" ] ;then
    do_date=$2
else
    do_date=`date -d '-1 day' +%F`
fi

import_data(){
$sqoop import \
--connect jdbc:mysql://hadoop101:3306/$APP \
--username root \
--password 123456 \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \
--query "$2 and  \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
}

import_order_info(){
  import_data order_info "select
                            id, 
                            total_amount, 
                            order_status, 
                            user_id, 
                            payment_way,
                            delivery_address,
                            out_trade_no, 
                            create_time, 
                            operate_time,
                            expire_time,
                            tracking_no,
                            province_id,
                            activity_reduce_amount,
                            coupon_reduce_amount,                            
                            original_total_amount,
                            feight_fee,
                            feight_fee_reduce      
                        from order_info
                        where (date_format(create_time,'%Y-%m-%d')='$do_date' 
                        or date_format(operate_time,'%Y-%m-%d')='$do_date')"
}

import_coupon_use(){
  import_data coupon_use "select
                          id,
                          coupon_id,
                          user_id,
                          order_id,
                          coupon_status,
                          get_time,
                          using_time,
                          used_time,
                          expire_time
                        from coupon_use
                        where (date_format(get_time,'%Y-%m-%d')='$do_date'
                        or date_format(using_time,'%Y-%m-%d')='$do_date'
                        or date_format(used_time,'%Y-%m-%d')='$do_date'
                        or date_format(expire_time,'%Y-%m-%d')='$do_date')"
}

import_order_status_log(){
  import_data order_status_log "select
                                  id,
                                  order_id,
                                  order_status,
                                  operate_time
                                from order_status_log
                                where date_format(operate_time,'%Y-%m-%d')='$do_date'"
}

import_user_info(){
  import_data "user_info" "select 
                            id,
                            login_name,
                            nick_name,
                            name,
                            phone_num,
                            email,
                            user_level, 
                            birthday,
                            gender,
                            create_time,
                            operate_time
                          from user_info 
                          where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
                          or DATE_FORMAT(operate_time,'%Y-%m-%d')='$do_date')"
}

import_order_detail(){
  import_data order_detail "select 
                              id,
                              order_id, 
                              sku_id,
                              sku_name,
                              order_price,
                              sku_num, 
                              create_time,
                              source_type,
                              source_id,
                              split_total_amount,
                              split_activity_amount,
                              split_coupon_amount
                            from order_detail 
                            where DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date'"
}

import_payment_info(){
  import_data "payment_info"  "select 
                                id,  
                                out_trade_no, 
                                order_id, 
                                user_id, 
                                payment_type, 
                                trade_no, 
                                total_amount,  
                                subject, 
                                payment_status,
                                create_time,
                                callback_time 
                              from payment_info 
                              where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
                              or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"
}

import_comment_info(){
  import_data comment_info "select
                              id,
                              user_id,
                              sku_id,
                              spu_id,
                              order_id,
                              appraise,
                              create_time
                            from comment_info
                            where date_format(create_time,'%Y-%m-%d')='$do_date'"
}

import_order_refund_info(){
  import_data order_refund_info "select
                                id,
                                user_id,
                                order_id,
                                sku_id,
                                refund_type,
                                refund_num,
                                refund_amount,
                                refund_reason_type,
                                refund_status,
                                create_time
                              from order_refund_info
                              where date_format(create_time,'%Y-%m-%d')='$do_date'"
}

import_sku_info(){
  import_data sku_info "select 
                          id,
                          spu_id,
                          price,
                          sku_name,
                          sku_desc,
                          weight,
                          tm_id,
                          category3_id,
                          is_sale,
                          create_time
                        from sku_info where 1=1"
}

import_base_category1(){
  import_data "base_category1" "select 
                                  id,
                                  name 
                                from base_category1 where 1=1"
}

import_base_category2(){
  import_data "base_category2" "select
                                  id,
                                  name,
                                  category1_id 
                                from base_category2 where 1=1"
}

import_base_category3(){
  import_data "base_category3" "select
                                  id,
                                  name,
                                  category2_id
                                from base_category3 where 1=1"
}

import_base_province(){
  import_data base_province "select
                              id,
                              name,
                              region_id,
                              area_code,
                              iso_code,
                              iso_3166_2
                            from base_province
                            where 1=1"
}

import_base_region(){
  import_data base_region "select
                              id,
                              region_name
                            from base_region
                            where 1=1"
}

import_base_trademark(){
  import_data base_trademark "select
                                id,
                                tm_name
                              from base_trademark
                              where 1=1"
}

import_spu_info(){
  import_data spu_info "select
                            id,
                            spu_name,
                            category3_id,
                            tm_id
                          from spu_info
                          where 1=1"
}

import_favor_info(){
  import_data favor_info "select
                          id,
                          user_id,
                          sku_id,
                          spu_id,
                          is_cancel,
                          create_time,
                          cancel_time
                        from favor_info
                        where 1=1"
}

import_cart_info(){
  import_data cart_info "select
                        id,
                        user_id,
                        sku_id,
                        cart_price,
                        sku_num,
                        sku_name,
                        create_time,
                        operate_time,
                        is_ordered,
                        order_time,
                        source_type,
                        source_id
                      from cart_info
                      where 1=1"
}

import_coupon_info(){
  import_data coupon_info "select
                          id,
                          coupon_name,
                          coupon_type,
                          condition_amount,
                          condition_num,
                          activity_id,
                          benefit_amount,
                          benefit_discount,
                          create_time,
                          range_type,
                          limit_num,
                          taken_count,
                          start_time,
                          end_time,
                          operate_time,
                          expire_time
                        from coupon_info
                        where 1=1"
}

import_activity_info(){
  import_data activity_info "select
                              id,
                              activity_name,
                              activity_type,
                              start_time,
                              end_time,
                              create_time
                            from activity_info
                            where 1=1"
}

import_activity_rule(){
    import_data activity_rule "select
                                    id,
                                    activity_id,
                                    activity_type,
                                    condition_amount,
                                    condition_num,
                                    benefit_amount,
                                    benefit_discount,
                                    benefit_level
                                from activity_rule
                                where 1=1"
}

import_base_dic(){
    import_data base_dic "select
                            dic_code,
                            dic_name,
                            parent_code,
                            create_time,
                            operate_time
                          from base_dic
                          where 1=1"
}


import_order_detail_activity(){
    import_data order_detail_activity "select
                                                                id,
                                                                order_id,
                                                                order_detail_id,
                                                                activity_id,
                                                                activity_rule_id,
                                                                sku_id,
                                                                create_time
                                                            from order_detail_activity
                                                            where date_format(create_time,'%Y-%m-%d')='$do_date'"
}


import_order_detail_coupon(){
    import_data order_detail_coupon "select
                                                                id,
								                                                order_id,
                                                                order_detail_id,
                                                                coupon_id,
                                                                coupon_use_id,
                                                                sku_id,
                                                                create_time
                                                            from order_detail_coupon
                                                            where date_format(create_time,'%Y-%m-%d')='$do_date'"
}


import_refund_payment(){
    import_data refund_payment "select
                                                        id,
                                                        out_trade_no,
                                                        order_id,
                                                        sku_id,
                                                        payment_type,
                                                        trade_no,
                                                        total_amount,
                                                        subject,
                                                        refund_status,
                                                        create_time,
                                                        callback_time
                                                    from refund_payment
                                                    where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' 
                                                    or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"                                                    

}

import_sku_attr_value(){
    import_data sku_attr_value "select
                                                    id,
                                                    attr_id,
                                                    value_id,
                                                    sku_id,
                                                    attr_name,
                                                    value_name
                                                from sku_attr_value
                                                where 1=1"
}


import_sku_sale_attr_value(){
    import_data sku_sale_attr_value "select
                                                            id,
                                                            sku_id,
                                                            spu_id,
                                                            sale_attr_value_id,
                                                            sale_attr_id,
                                                            sale_attr_name,
                                                            sale_attr_value_name
                                                        from sku_sale_attr_value
                                                        where 1=1"
}

case $1 in
  "order_info")
     import_order_info
;;
  "base_category1")
     import_base_category1
;;
  "base_category2")
     import_base_category2
;;
  "base_category3")
     import_base_category3
;;
  "order_detail")
     import_order_detail
;;
  "sku_info")
     import_sku_info
;;
  "user_info")
     import_user_info
;;
  "payment_info")
     import_payment_info
;;
  "base_province")
     import_base_province
;;
  "activity_info")
      import_activity_info
;;
  "cart_info")
      import_cart_info
;;
  "comment_info")
      import_comment_info
;;
  "coupon_info")
      import_coupon_info
;;
  "coupon_use")
      import_coupon_use
;;
  "favor_info")
      import_favor_info
;;
  "order_refund_info")
      import_order_refund_info
;;
  "order_status_log")
      import_order_status_log
;;
  "spu_info")
      import_spu_info
;;
  "activity_rule")
      import_activity_rule
;;
  "base_dic")
      import_base_dic
;;
  "order_detail_activity")
      import_order_detail_activity
;;
  "order_detail_coupon")
      import_order_detail_coupon
;;
  "refund_payment")
      import_refund_payment
;;
  "sku_attr_value")
      import_sku_attr_value
;;
  "sku_sale_attr_value")
      import_sku_sale_attr_value
;;
"all")
   import_base_category1
   import_base_category2
   import_base_category3
   import_order_info
   import_order_detail
   import_sku_info
   import_user_info
   import_payment_info
   import_base_trademark
   import_activity_info
   import_cart_info
   import_comment_info
   import_coupon_use
   import_coupon_info
   import_favor_info
   import_order_refund_info
   import_order_status_log
   import_spu_info
   import_activity_rule
   import_base_dic
   import_order_detail_activity
   import_order_detail_coupon
   import_refund_payment
   import_sku_attr_value
   import_sku_sale_attr_value
;;
esac

执行两个脚本文件查看是否正常运行

mysql_to_hdfs_init.sh all 2020-06-13

mysql_to_hdfs_init all 2020-06-14

运行成功后可以在HDFS端查看到34个表的数据

（3）项目经验

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。

3 hive安装

#准备安装包，上传服务器
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/
mv apache-hive-3.1.2-bin/ hive
#配置环境变量
sudo vim /etc/profile.d/my_env.sh 
#添加以下内容
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
#解决日志Jar包冲突，进入/opt/module/hive/lib目录
rm -rf log4j-slf4j-impl-2.10.0.jar 
#Hive元数据配置到MySQL
#拷贝驱动，将MySQL的JDBC驱动拷贝到Hive的lib目录下
cp /opt/software/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
#配置Metastore到MySQL
在$HIVE_HOME/conf目录下新建hive-site.xml文件
#添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop101:3306/metastore?useSSL=false</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop101</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>

    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
</configuration>

#启动hive
#初始化元数据库
#登陆MySQL
mysql -uroot -p123456
#新建Hive元数据库
create database metastore;
quit;
#初始化Hive元数据库
[hike@hadoop101 conf]$ schematool -initSchema -dbType mysql -verbose
#连接hive
hive
#修改hive日志存放地址
mv hive-log4j2.properties.template hive-log4j2.properties
#修改以下选项
property.hive.log.dir = /opt/module/hive/logs
OneTenTwo76
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
跨服务器增量同步mysql表数据的shell实现
04-27
这个脚本实现了跨服务器增量同步mysql数据的功能，可以同步多个表。 在使用这个脚本的时候需要注意有修改的地方就是源表配置、目标表配置需要修改成自己的服务器和登录mysql数据库的用户名和密码。基础配置中需要指定需要同步的的表，表名称是放在配置文件中的，写的是绝对路径，记得需要改成自己的。
详解hbase与hive数据同步
08-29
详解HBase与Hive数据同步 HBase与Hive数据同步是大数据处理中常见的一种数据集成方式。HBase是一种NoSQL数据库，适合存储大量半结构化和非结构化数据，而Hive是基于Hadoop的数据仓库工具，用于数据分析和处理。两者...
数仓的同步策略
weixin_45150724的博客
03-04 384
有时候在想，数仓中的表有同步策略，这个同步策略在哪里看呢？是建表语句吗？显然不是。是在sqoop中看参数。 全量同步: 查询最新的分区，就是所有的数据。 缺点就是:hdfs越来越大。 打个比方: 1月1号的数据，存到hdfs之后。 1月2号的数据，以及1月1号中发生变化的数据，存到对应1月2号的分区。 导数据的时候，导入分时候条件就是创建时间是1月1号的，或者是operate的时间是1月2的(1月1日或者更早的数据在1月2号修改了，那么这个时间就是1月2号)。 这样的话，就是导入的是新增得数据，以及.
数仓数据同步策略
weixin_44604159的博客
11-28 1006
数仓同步策略介绍和应用场景
数据数据采集之表同步策略
weixin_42796403的博客
12-11 426
数据数据采集之表同步策略 全量同步: 每天都将Mysql表中所有的数据同步到hive的分区中[hive的每个分区中的数据都是当天的全量数据] 适用场景: 表的数据量不大,每天既有新增也有修改数据 新增同步: 每天将mysql中当天新增的数据同步到hive的分区中 适用场景: 表数据量比较大,每天只有新增数据 新增及变化同步: 每天将mysql中当天新增数据以及修改的数据同步到hive的分区中 适用场景: 表数据量比较大,每天既有新增也有修改数据 特殊同步: 表的数据基本不会怎么改变，此时可以
三、数仓数据同步策略
我的笔记
03-21 812
大数据自学笔记——电商数仓5.0搭建学习笔记
数仓项目实战-网站点击流数据分析项目
最新发布
03-11
这个实战项目涵盖了完整的数据处理流程，包括数据采集、清洗、转化、存储以及后续的业务洞察挖掘。下面将详细阐述涉及的关键知识点。 1. 数据采集：网站点击流数据主要来源于用户在网页上的行为记录，包括页面访问...
Hive数据仓库之垃圾分类数据分析系统
08-14
（1）Flume数据采集，HDFS数据储存 （2）hive数据仓库分层设计，包含ODS、DWD、ADS层 （3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互 （4）Echarts搭建动态可视化大屏 （5）SpringBoot搭建可视化后台系统，...
hbase与hive数据同步共4页.pdf.zip
10-29
- 性能优化：大量数据同步可能会对系统性能产生影响，因此需要优化同步策略，如分批同步、异步处理等。 - 错误处理和重试机制：数据同步可能出现错误，需要设计合理的错误处理和重试机制，确保数据的完整性。 - 安全...
离线数仓：数仓数据同步策略
kkddd35的博客
03-08 2380
按照之前规划，该Flume需要将Kafka中topic_log的数据发往HDFS，并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。所以此处选择这些组件是 Apache Flume 中的核心组件，用于构建数据流管道以实现数据的采集、传输和存储。KafkaSource 是 Flume 的源（Source）组件之一，用于从 Apache Kafka 中消费消息数据。
数据仓库的同步策略
XIAOMO__的博客
10-28 1174
目录 同步策略 四种表 20张表分别属于什么分区策略 数据的同步主要得益于：数据仓库的同步策略，它的同步策略有四种。 同步策略 全量同步策略： 每日全量，导入完整数据到hive的分区表，就是每天存储一份完整数据，作为一个分区。适用于表数据量不大，且每日都有新数据插入，也会有旧数据修改的场景。 例如：编码字典表，且每天即会有数据插入，也会有旧数据的修改的场景。 增量同步策略： 每日增量， 就是每天存储一份增量数据，作为一个分区。适用于数据量大，且每天只会有新数据插入的场景。 例如：退单表
数据仓库数据同步策略
u011868279的博客
03-27 1168
数据仓库数据同步策略
数仓理论之表的分类
ITBOY_ITBOX博客
04-26 1472
实体表 实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。 用户表： 用户id 姓名 生日 性别 邮箱 用户等级 创建时间 1 张三 2011-11-11...
数据同步策略
weixin_36190755的博客
10-16 405
我们需要将源数据库数据同步至数仓，此时涉及数据同步策略，具体应该如何选择对应的数据更新机制呢？ 参照： 表类别 数据量 描述 增长变化方式 同步策略 实体表 中等 一般指客观存在的对象，如用户、课程、商品等 增加、变化 近期每日全量，远期拉链表，更久远存磁盘 维度表 常规维度 小 一般对应业务状态，如地区，订单类型等 增加、变化 每日全量 固定维度 小 不变 无需同步 事实表 事务型事实
Hive -- 增量同步数据脚本
DZ_wlz的博客
07-18 1290
if [ $# -eq 12 ]; then HIVE_DATABASE=$1 HIVE_TABLE_NAME=$2 DATA_DIR=$3 PARTITION_KEY=$4 KEY_FIELD_NAME=$5 MYSQL_HOST=$6 MYSQL_PORT=$7 MYSQL_DATABASE=$8 MYSQL_TABLE_NAME=$9 MYSQL_USERNAME=${...
数据仓库之数据同步策略
TINHAO
03-02 2775
一、表的种类及其概念： 一般情况下表分为三个类型，分别是实体表、维度表和事务表 1.实体表： 实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。 2.维度表： 维度表，一般是指对应一些业务状态，代码的解释表。也可以称之为码表。比如地区表，订单类型，支付方式，审批状态，商品分类等等。 维度表可以分为两类：一般维度表和固定维度表 一般维度表的数据是不断增加和变化的 固定维度表的...
04-数据仓库之数据同步策略
weixin_33872660的博客
04-19 174
1、数据同步 　　　　　　因为我们需要每天分析的数据都是最新的！！！所以就涉及数据的同步 2、表的分类 　　　　　　①实体表： 　　　　　　　　　　一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等　　　 　　　　　 ②维度表： 　　　　　　　　　　一般是指对应一些业务状态，代码的解释表，也可以称之为码表。比如地区表，订单类型，支付类型，商品类别...... 　　　...
数据流动新时代，Hive 的实时同步技术探索
数据同步
03-01 943
最近对于全周期数据流动进行了初步探索，打通了Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。
关于hive表同步类型问题
weixin_34092455的博客
07-05 154
今天华为做实施的时候发现kylin做刷cube的时候发现源表数据类型不适合刷到kylin提供查询接口。问了下同事发现一个比较简单的解决办法。 源表是String类型，做hive视图可以做个hive表提供刷kylin数据。比较方便快捷 转载于:https://www.cnblogs.com/yaohaitao/p/7124023.html...
datax t同步pg数据到hive分区表json脚本怎么写
05-31
下面是一个将 PG 数据库中的数据同步到 Hive 分区表的 DataX Job 的 json 脚本示例： ```json { "job": { "setting": { "speed": { "channel": "3" } }, "content": [ { "reader": { "name": ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OneTenTwo76

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值