数仓的各个脚本

已于 2022-02-24 17:03:15 修改
阅读量936 收藏 2
点赞数
分类专栏： 数仓 文章标签： hadoop hdfs big data
于 2022-02-24 10:42:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50396049/article/details/123106478
版权

文章目录

集群分发脚本
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
集群所有进程查看
#! /bin/bash
 
for i in hadoop102 hadoop103 hadoop104
do
    echo --------- $i ----------
    ssh $i "jps $@ | grep -v Jps"
done
Hadoop集群的启停
#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
Zookeeper集群启停
#!/bin/bash
if [ $# -lt 1 ]
   then
   echo "No Args Input"
   exit
fi

case $1 in
"start")
   for i in hadoop101 hadoop102 hadoop103
   do
   echo "==================$i=================="
   ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh start
   done
   for i in hadoop101 hadoop102hadoop103
   do
   echo "==================$i=================="
   ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh status
   done
;;
"stop")
   for i in hadoop101 hadoop102 hadoop103
   do
   echo "==================$i=================="
   ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh stop
   done
;;
"status")
   for i in hadoop101 hadoop102 hadoop103
   do
   echo "==================$i=================="
   ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh status
   done
;;
*)
  echo "Args Error"
;;
esac
Kafka启停脚本
#!/bin/bash

case $1 in
"start"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties "
    done
};;
"stop"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"
    done
};;
esac
Maxwell启停
#!/bin/bash
if [[ $# -lt 1 ]]; then
	echo "Pleace Input Args"
	exit
fi

MAXWELL_HOME=/opt/module/maxwell

status_maxwell(){
	#grep -v grep:过滤掉包含grep的进程性 ; wc -l:wc统计文件的行数：line
	result=`ps -ef |grep maxwell |grep -v grep |wc -l`
	return $result
}

start_maxwell(){
	status_maxwell
	# $?:能调上一个命令的返回结果
	if [[ $? -lt 1 ]]; then
		echo "启动maxwell"
		$MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
	else
		echo "Maxwell已经启动,请勿再次启动"
	fi
}

stop_maxwell(){
	status_maxwell
	if [[ $? -eq 0 ]]; then
		echo "Maxwell未启动"
	else
		#xargs之前的结果作为参数传给后面
		ps -ef | grep maxwell |grep -v grep | awk '{print $2}'| xargs kill -9
	fi
}



case $1 in
	"start" )
		start_maxwell
		;;
	"stop" )
		stop_maxwell
		;;
	"restart" )
		stop_maxwell
		start_maxwell
		;;				
esac
生成datax的json配置文件(一次性的,生成一次即可)
# coding=utf-8
import json
import getopt
import os
import sys
import MySQLdb

#MySQL相关配置，需根据实际情况作出修改
mysql_host = "hadoop101"
mysql_port = "3306"
mysql_user = "root"
mysql_passwd = "123456"

#HDFS NameNode相关配置，需根据实际情况作出修改
hdfs_nn_host = "hadoop101"
hdfs_nn_port = "8020"

#生成配置文件的目标路径，可根据实际情况作出修改
output_path = "/opt/module/datax/job/import"

#获取mysql连接
def get_connection():
    return MySQLdb.connect(host=mysql_host, port=int(mysql_port), user=mysql_user, passwd=mysql_passwd)

#获取表格的元数据  包含列名和数据类型
def get_mysql_meta(database, table):
    connection = get_connection()
    cursor = connection.cursor()
    sql = "SELECT COLUMN_NAME,DATA_TYPE from information_schema.COLUMNS WHERE TABLE_SCHEMA=%s AND TABLE_NAME=%s ORDER BY ORDINAL_POSITION"
    cursor.execute(sql, [database, table])
    fetchall = cursor.fetchall()
    cursor.close()
    connection.close()
    return fetchall

#获取mysql表的列名
def get_mysql_columns(database, table):
    return map(lambda x: x[0], get_mysql_meta(database, table))

#将获取的元数据中mysql的数据类型转换为hive的数据类型  写入到hdfswriter中
def get_hive_columns(database, table):
    def type_mapping(mysql_type):
        mappings = {
            "bigint": "bigint",
            "int": "bigint",
            "smallint": "bigint",
            "tinyint": "bigint",
            "decimal": "string",
            "double": "double",
            "float": "float",
            "binary": "string",
            "char": "string",
            "varchar": "string",
            "datetime": "string",
            "time": "string",
            "timestamp": "string",
            "date": "string",
            "text": "string"
        }
        return mappings[mysql_type]

    meta = get_mysql_meta(database, table)
    return map(lambda x: {"name": x[0], "type": type_mapping(x[1].lower())}, meta)

#生成json文件
def generate_json(source_database, source_table):
    job = {
        "job": {
            "setting": {
                "speed": {
                    "channel": 3
                },
                "errorLimit": {
                    "record": 0,
                    "percentage": 0.02
                }
            },
            "content": [{
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": mysql_user,
                        "password": mysql_passwd,
                        "column": get_mysql_columns(source_database, source_table),
                        "splitPk": "",
                        "connection": [{
                            "table": [source_table],
                            "jdbcUrl": ["jdbc:mysql://" + mysql_host + ":" + mysql_port + "/" + source_database]
                        }]
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://" + hdfs_nn_host + ":" + hdfs_nn_port,
                        "fileType": "text",
                        "path": "${targetdir}",
                        "fileName": source_table,
                        "column": get_hive_columns(source_database, source_table),
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        "compress": "gzip"
                    }
                }
            }]
        }
    }
    if not os.path.exists(output_path):
        os.makedirs(output_path)
    with open(os.path.join(output_path, ".".join([source_database, source_table, "json"])), "w") as f:
        json.dump(job, f)


def main(args):
    source_database = ""
    source_table = ""

    options, arguments = getopt.getopt(args, '-d:-t:', ['sourcedb=', 'sourcetbl='])
    for opt_name, opt_value in options:
        if opt_name in ('-d', '--sourcedb'):
            source_database = opt_value
        if opt_name in ('-t', '--sourcetbl'):
            source_table = opt_value

    generate_json(source_database, source_table)


if __name__ == '__main__':
    main(sys.argv[1:])
·导入python-mysql依赖
	·sudo yum install -y MySQL-python
·执行
	·python gen_import_config.py -d database -t table
		通过-d传入数据库名，-t传入表名
全量表数据同步脚本(datax全量同步;mysql—>hdfs)
#!/bin/bash
if [[ $# -lt 1 ]]; then
	echo "Pleace Input TWO Args 1:Datax配置名 2:存放路径"
	exit
fi

DATAX_HOME=/opt/module/datax

#如果传入日期则do_date等于传入的日期，否则等于前一天日期
# -n "$2" 判断第二个参数是否存在
if [[ -n "$2" ]]; then
	do_date=$2
else
	do_date=`date -d "-1 day" +%F`
fi



#处理目标路径
#如果目标路径存在并且数据,删除数据
#如果目标路径不存在,创建路径
handle_targetdir(){
	targetdir=$1
	#判断hadoop路径存在不存在
	hadoop fs -test -e $targetdir 
	if [[ $? -eq 0 ]]; then
		file_count=`hadoop fs -count $targetdir | awk '{print $3}'`
		if [[ $file_count -eq 0 ]]; then
			echo "$targetdir 目标路径没有文件,执行导入"
		else
			echo "$targetdir 目标路径存在文件,正在删除" 
			hadoop fs -rm -r -f $targetdir/*
		fi
	else
		echo "$targetdir目标路径不存在,正在闯将"
		hadoop fs -mkdir -p $targetdir	
	fi

}



## 函数里面的$1:指的是调用函数时后面跟的第一个参数
import_data(){
	config_name=$1
	targetdir=$2
	handle_targetdir $targetdir
	python $DATAX_HOME/bin/datax.py $DATAX_HOME/job/import/$config_name  -p "-Ddt=$targetdir"
}

import_activity_info_data(){
	import_data gmall.activity_info.json /origin_data/gmall/db/activity_info_full/$do_date
}

import_activity_rule_data(){
	import_data gmall.activity_rule.json /origin_data/gmall/db/activity_rule_full/$do_date
}

case $1 in
	"activity_info" )
		import_activity_info_data
		;;
	"activity_rule" )
		import_activity_rule_data
		;;
	"all" )
  ##导入所有的表
  import_data gmall.activity_info.json /origin_data/gmall/db/activity_info_full/$do_date
  import_data gmall.activity_rule.json /origin_data/gmall/db/activity_rule_full/$do_date
  import_data gmall.base_category1.json /origin_data/gmall/db/base_category1_full/$do_date
  import_data gmall.base_category2.json /origin_data/gmall/db/base_category2_full/$do_date
  import_data gmall.base_category3.json /origin_data/gmall/db/base_category3_full/$do_date
  import_data gmall.base_dic.json /origin_data/gmall/db/base_dic_full/$do_date
  import_data gmall.base_province.json /origin_data/gmall/db/base_province_full/$do_date
  import_data gmall.base_region.json /origin_data/gmall/db/base_region_full/$do_date
  import_data gmall.base_trademark.json /origin_data/gmall/db/base_trademark_full/$do_date
  import_data gmall.cart_info.json /origin_data/gmall/db/cart_info_full/$do_date
  import_data gmall.coupon_info.json /origin_data/gmall/db/coupon_info_full/$do_date
  import_data gmall.sku_attr_value.json /origin_data/gmall/db/sku_attr_value_full/$do_date
  import_data gmall.sku_info.json /origin_data/gmall/db/sku_info_full/$do_date
  import_data gmall.sku_sale_attr_value.json /origin_data/gmall/db/sku_sale_attr_value_full/$do_date
  import_data gmall.spu_info.json /origin_data/gmall/db/spu_info_full/$do_date
  ;;
esac
增量表首日全量同步
#!/bin/bash

# 该脚本的作用是初始化所有的增量表，只需执行一次

MAXWELL_HOME=/opt/module/maxwell

import_data() {
    $MAXWELL_HOME/bin/maxwell-bootstrap --database gmall --table $1 --config $MAXWELL_HOME/config.properties
}

case $1 in
"cart_info")
  import_data cart_info
  ;;
"comment_info")
  import_data comment_info
  ;;
"coupon_use")
  import_data coupon_use
  ;;
"favor_info")
  import_data favor_info
  ;;
"order_detail")
  import_data order_detail
  ;;
"order_detail_activity")
  import_data order_detail_activity
  ;;
"order_detail_coupon")
  import_data order_detail_coupon
  ;;
"order_info")
  import_data order_info
  ;;
"order_refund_info")
  import_data order_refund_info
  ;;
"order_status_log")
  import_data order_status_log
  ;;
"payment_info")
  import_data payment_info
  ;;
"refund_payment")
  import_data refund_payment
  ;;
"user_info")
  import_data user_info
  ;;
"all")
  import_data cart_info
  import_data comment_info
  import_data coupon_use
  import_data favor_info
  import_data order_detail
  import_data order_detail_activity
  import_data order_detail_coupon
  import_data order_info
  import_data order_refund_info
  import_data order_status_log
  import_data payment_info
  import_data refund_payment
  import_data user_info
  ;;
esac
启动元数据服务和hiveserver2
#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac
GambleLife
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数仓脚本
weixin_48109576的博客
09-07 722
#!/bin/bash ########################################## # # @desc: app端埋点日志文件导入ods层表 # @target: ods.event_app_log # # ############################ HIVE_HOME=/opt/apps/hive-3.1.2/ DT=`date -d'-1 day' +%Y-%m-%d` if [ $1 ] then DT=$1 fi ${HIVE_H...
大数据项目之电商数仓（脚本篇）
FreedomZzzzz的博客
05-05 6715
脚本存放目录 /user/local/bin/ 1.xsync集群分发脚本 参考这篇博客安装 https://blog.csdn.net/yhblog/article/details/84066218 #!/bin/bash #获取输入参数的个数.没有参数直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2.获取文件名称 p...
数仓开发ETL实用脚本工具
04-01
数据开发过程中利用以下脚本工具，可以大大提高开发效率、帮助解决很多常见的开发问题，可以根据实际情况稍加更改使用
电商数仓脚本
yang灬仔
06-17 490
我的脚本存放目录 /user/local/bin/ 注意：有些脚本涉及到用户和密码记得要改成自己的！路径有的也需要留意。 ------------------------------------------------------------------- 目录 1.xsync集群分发脚本 2.zookeeper集群起动关闭脚本 3.日志启动脚本 4.时间同步脚本（用于造假数据） 5.集群各个节点查看状态脚本 6.日志采集 Flume 启动停止脚本 7.Kafka 集群启动停止脚本 8.日
大数据电商数仓相关脚本
m0_48170265的博客
04-25 953
大数据电商数仓相关脚本
大数据真实数仓项目（带脚本代码模型设计文档）.zip
01-06
数据从各个业务系统中抽取，经过清洗、转换后加载到数据仓库中，再通过OLAP立方体进行多维分析。 3. **ETL过程**：ETL是数据仓库建设的核心，涉及数据抽取、转换和加载。抽取是从不同源系统获取数据；转换是对数据...
大数据真实数仓项目.zip
06-03
大数据真实数仓项目是一个实践性的IT项目，主要聚焦在大数据仓库（Big Data ...通过学习和实践这个项目，可以深入了解大数据数仓的全貌，掌握从数据集成到分析的各个环节，对于提升大数据处理和分析能力大有裨益。
小赢数仓开发手册1
08-08
2.2 部分通过架构图的形式直观展示了数仓的层次结构和各个组件之间的关系，帮助读者理解系统的整体运作逻辑。 第三章是命名规范，这是数仓开发中的基础也是关键部分。3.1 数仓基本命名规范确保了所有数据和脚本的...
数仓建模资源代码：大数据生态、离线数仓、实时数仓、数据湖、数据中台
最新发布
06-02
"BigData-master-111"这个文件名可能是指一个包含上述技术相关代码或资源的项目库，可能涵盖了大数据处理的各个方面，例如数据导入导出脚本、ETL流程定义、实时处理逻辑、数据模型设计等。对于想要深入理解和实践...
日志，用于数仓4.o业务平台的数据采集
02-03
在IT领域，数据仓库（Data Warehouse）是一种专为数据分析而设计的系统，它集成了来自企业各个业务系统的数据，提供了一种统一、历史性的视角，以便进行深入的业务洞察和决策支持。数仓4.0是数据仓库技术的最新发展...
数据仓库不同类型的脚本.zip
05-31
包含hivesql,gpsql,oraclesql,pgsql,mysql等不同类型的sql脚本
数仓项目的集群脚本
SYBYy6的博客
07-01 255
hadoop的群起群停脚本 zookeeper的群起群停脚本 kafka的群起群停脚本 用户行为日志采集端的Flume群起群停脚本 用户行为日志采集端的Flume配置 Flume的source,channel和sink分别使用如下类型： 1.taildir source 2.kafka channel 3.未配置sink 用户行为日志消费端的群起群停脚本 用户行为日志消费端的Flume配置 Flume的source,channel和sink分别使用如下类型： 1.kafka sourc
数仓脚本参数设置
weixin_44024821的博客
10-11 289
在实际项目中，数仓的脚本基本上都是有分区字段的。在很多日志项目中，按照时间字段(天)分区比较常见。所以在脚本开发的过程中就会涉及到一些参数的设置，动态分区参数和合并小文件参数设置也是用的最多的。 动态分区参数设置 set hive.exec.dynamic.partition = true # 是否打开动态分区，默认false set hive.exec.dynamic.partition.mod...
电商数仓采集通道启停脚本
noob9527的博客
04-09 94
电商数仓采集通道启动停止脚本
5.5 离线数仓—DWS层数据装载脚本
yunweijie_cn的博客
03-02 356
DWS层数据装载脚本前言一、DWS最近1日汇总表1.首日装载脚本2.每日装载脚本二、DWS最近n日汇总表1.数据装载脚本三、DWS历史至今td汇总表1.首日数据装载脚本2.每日数据装载脚本 前言 前面完成了DWS层所有表的设计和开发，为了方便使用，准备一下数据装载的脚本。 一、DWS最近1日汇总表 1.首日装载脚本 脚本名称：dwd_to_dws_1d_init.sh 脚本内容： #!/bin/bash APP=gmall if [ -n "$2" ] ;then do_date=$2 else
数仓脚本迁移方法及自动化
数据一哥，公众号：数据社
03-24 1832
大家好，我是一哥，今天给大家分享一篇干货，看到这篇文章想起了4年前参与的大数据平台迁移项目，往事历历在目~《大数据集群迁移的那一夜是怎么过的|回忆录》。本篇将对数据仓库迁移方法论中最为核心...
大数据平台实时数仓从0到1搭建之 - 08 集群脚本
这都不是事er 的博客
10-03 179
大数据平台实时数仓从0到1搭建之 - 08 集群脚本概述环境变量jps & jpsall.shzkServer.sh & zk.shkafka-server-start & kafka.sh 概述 目前涉及到的zookeeper和kafka，都是需要在每台机器上做启动停止操作， 本文使用shell脚本，处理集群的操作 重点语法：ssh host 命令 在对应的host节点上执行某个命令 环境变量 需要修改对应的用户的环境变量， 使用root用户执行脚本，则需要在/root/.b
数仓数据质量管理脚本
Shawn的个人博客
04-16 556
数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。
数仓库常用脚本
shufangreal的博客
12-09 317
数仓库常用脚本 xsync集群同步分发脚本 #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(d...
数仓项目中使用什么shell脚本
06-06
数仓项目中使用的shell脚本有很多，主要涉及以下几个方面： 1. 数据采集：在数据仓库项目中，数据采集是非常重要的一部分。通常会使用Shell脚本来完成数据采集的自动化工作，例如使用Shell脚本调用FTP或者SFTP等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GambleLife

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值