广告数仓：全流程调度

已于 2023-06-23 20:17:30 修改
阅读量660 收藏 2
点赞数 2
分类专栏： 广告数仓 文章标签： 服务器 数据库 linux
于 2023-06-23 20:17:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50835854/article/details/131352352
版权

系列文章目录

广告数仓：采集通道创建
广告数仓：数仓搭建
广告数仓：数仓搭建(二)
广告数仓：全流程调度

文章目录

前言

这次我们为广告仓库进行一些收尾工作，主要是最终的数据导出和全流程调度以及数据的可视化，不知道一次能不能写完

一、ClickHouse安装

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

1.修改环境

sudo vim /etc/security/limits.conf
#####
* soft nofile 65536 
* hard nofile 65536 
* soft nproc 131072 
* hard nproc 131072

在这里插入图片描述

sudo vim /etc/security/limits.d/20-nproc.conf
#####
* soft nofile 65536 
* hard nofile 65536 
* soft nproc 131072 
* hard nproc 131072

sudo vim /etc/selinux/config 
#####
SELINUX=disabled

在这里插入图片描述

分发配置文件

sudo xsync /etc/security/limits.conf
sudo xsync /etc/security/limits.d/20-nproc.conf
sudo xsync /etc/selinux/config

2.安装依赖

三台电脑建议都安装

sudo yum install -y libtool
sudo yum install -y *unixODBC*

3.单机安装

企业实战中，根据自己的需求选择安装的节点数。
这里为了考虑到电脑性能，就是用单机安装。
在software目录下创建clickhouse目录，然后上传提供的安装包
在这里插入图片描述
在当前目录下执行所有rpm文件

 sudo rpm -ivh *.rpm

4.修改配置文件

 sudo vim /etc/clickhouse-server/config.xml

把这一行注释去掉
在这里插入图片描述

5.启动clickhouse

sudo systemctl start clickhouse-server
链接测试
clickhouse-client -m
在这里插入图片描述

6.创建需要的数据库和表

create database ad_report;

use ad_report;

create table if not exists dwd_ad_event_inc
(
    event_time             Int64 comment '事件时间',
    event_type             String comment '事件类型',
    ad_id                  String comment '广告id',
    ad_name                String comment '广告名称',
    ad_product_id          String comment '广告产品id',
    ad_product_name        String comment '广告产品名称',
    ad_product_price       Decimal(16, 2) comment '广告产品价格',
    ad_material_id         String comment '广告素材id',
    ad_material_url        String comment '广告素材url',
    ad_group_id            String comment '广告组id',
    platform_id            String comment '推广平台id',
    platform_name_en       String comment '推广平台名称(英文)',
    platform_name_zh       String comment '推广平台名称(中文)',
    client_country         String comment '客户端所处国家',
    client_area            String comment '客户端所处地区',
    client_province        String comment '客户端所处省份',
    client_city            String comment '客户端所处城市',
    client_ip              String comment '客户端ip地址',
    client_device_id       String comment '客户端设备id',
    client_os_type         String comment '客户端操作系统类型',
    client_os_version      String comment '客户端操作系统版本',
    client_browser_type    String comment '客户端浏览器类型',
    client_browser_version String comment '客户端浏览器版本',
    client_user_agent      String comment '客户端UA',
    is_invalid_traffic     UInt8 comment '是否是异常流量'
) ENGINE = MergeTree()
      ORDER BY (event_time, ad_name, event_type, client_province, client_city, client_os_type,
                client_browser_type, is_invalid_traffic);

7.Hive数据导出至Clickhouse

1.新建IDEA工程

在这里插入图片描述

2.pom依赖

<dependencies>

        <!-- 引入mysql驱动,目的是访问hive的metastore元数据-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.33</version>
        </dependency>

        <!-- 引入spark-hive模块-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.12</artifactId>
            <version>3.3.1</version>
            <scope>provided</scope>
        </dependency>

        <!--引入clickhouse-jdbc驱动,为解决依赖冲突,需排除jackson的两个依赖-->
        <dependency>
            <groupId>ru.yandex.clickhouse</groupId>
            <artifactId>clickhouse-jdbc</artifactId>
            <version>0.2.4</version>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <!-- 引入commons-cli,目的是方便处理程序的输入参数 -->
        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.2</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <!--将依赖编译到jar包中-->
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <!--配置执行器-->
                    <execution>
                        <id>make-assembly</id>
                        <!--绑定到package执行周期上-->
                        <phase>package</phase>
                        <goals>
                            <!--只运行一次-->
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

3.HiveToClickhouse.java

package com.atguigu.ad.spark;

import org.apache.commons.cli.*;

import org.apache.spark.SparkConf;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class HiveToClickhouse {
    public static void main(String[] args) {
        // 使用common-cli处理传入参数
        // 1 定义能够传入那些参数
        Options options = new Options();
        options.addOption(OptionBuilder.withLongOpt("hive_db").withDescription("hive数据库名称(required)").hasArg(true).isRequired(true).create());
        options.addOption(OptionBuilder.withLongOpt("hive_table").withDescription("hive表名称(required)").hasArg(true).isRequired(true).create());
        options.addOption(OptionBuilder.withLongOpt("hive_partition").withDescription("hive分区(required)").hasArg(true).isRequired(true).create());
        options.addOption(OptionBuilder.withLongOpt("ck_url").withDescription("clickhouse的jdbc url(required)").hasArg(true).isRequired(true).create());
        options.addOption(OptionBuilder.withLongOpt("ck_table").withDescription("clickhouse表名称(required)").hasArg(true).isRequired(true).create());
        options.addOption(OptionBuilder.withLongOpt("batch_size").withDescription("数据写入clickhouse时的批次大小(required)").hasArg(true).isRequired(true).create());
        // 解析参数

        GnuParser gnuParser = new GnuParser();
        CommandLine cmd = null;
        try {
            cmd = gnuParser.parse(options, args);
        } catch (ParseException e) {
            e.printStackTrace();
            return;
        }


        // 创建sparksql环境
        SparkConf conf = new SparkConf().setAppName("HiveToClickhouse");

        SparkSession sparkSession = SparkSession.builder()
                .enableHiveSupport()
                .config(conf)
                .getOrCreate();

        // 读取hive中的数据
        sparkSession.sql("set spark.sql.parser.quotedRegexColumnNames=true");

        Dataset<Row> dataset = sparkSession
                .sql(""+"select `(dt)?+.+` from " + cmd.getOptionValue("hive_db") + "." + cmd.getOptionValue("hive_table") + " where dt= '" + cmd.getOptionValue("hive_partition")+"'");
        dataset.show();
        // 写入到clickHouse中
        dataset.write().mode("append")
                .format("jdbc")
                .option("url", cmd.getOptionValue("ck_url"))
                .option("driver", "ru.yandex.clickhouse.ClickHouseDriver")
                .option("dbtable", cmd.getOptionValue("ck_table"))
                .option("batch_size", cmd.getOptionValue("batch_size"))
                .save();

        sparkSession.close();
    }
}

4.上传hive-site.xml

在这里插入图片描述

在这里插入图片描述

5.打包编译

在这里插入图片描述
在这里插入图片描述

二、DolphinScheduler安装

1.软件下载

阿里源下载
版本号2.0.8
然后解压即可

2.编写部署脚本

在这里插入图片描述

vim conf/config/install_config.conf

这里说一下要修改的地方

ips="hadoop102,hadoop103,hadoop104" 
# 将要部署任一 DolphinScheduler 服务的服务器主机名或 ip 列表

masters="hadoop102" 
# master 所在主机名列表，必须是 ips 的子集

workers="hadoop102:default,hadoop103:default,hadoop104:default" 
# worker主机名及队列，此处的 ip 必须在 ips 列表中

alertServer="hadoop102"
# 告警服务所在服务器主机名

apiServers="hadoop102"
# api服务所在服务器主机名

# pythonGatewayServers="ds1" 
# 不需要的配置项，可以保留默认值，也可以用 # 注释

installPath="/opt/module/dolphinscheduler"
# DS 安装路径，如果不存在会创建

deployUser="atguigu"
# 部署用户，任务执行服务是以 sudo -u {linux-user} 切换不同 Linux 用户的方式来实现多租户运行作业，因此该用户必须有免密的 sudo 权限。

javaHome="/opt/module/jdk8u282-b08"
# JAVA_HOME 路径

# 数据库信息
DATABASE_TYPE=mysql

SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:mysql://hadoop102:3306/dolphinscheduler?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=UTF-8"}

# Spring datasource username
SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"dolphinscheduler"}

# Spring datasource password
SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"dolphinscheduler"}

registryServers="hadoop102:2181,hadoop103:2181,hadoop104:2181"
# 注册中心地址，即 Zookeeper 集群的地址

registryNamespace="dolphinscheduler"
# DS 在 Zookeeper 的结点名称

resourceStorageType="HDFS"	
# 资源存储类型

resourceUploadPath="/dolphinscheduler"
# 资源上传路径

defaultFS="hdfs://hadoop102:8020"
# 默认文件系统

yarnHaIps=
# Yarn RM 高可用 ip，若未启用 RM 高可用，则将该值置空

singleYarnIp="hadoop103"
# Yarn RM 主机名，若启用了 HA 或未启用 RM，保留默认值

hdfsRootUser="atguigu"
# 拥有 HDFS 根目录操作权限的用户

3.创建元数据库及用户

先登录Mysql

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';

flush privileges;

将连接Mysql的Jar拷入lib目录
在这里插入图片描述

4.运行脚本

由于dolphinscheduler依赖Hadoop和ZK所以要现将这两个应用都启动了。
在这里插入图片描述

 myhadoop.sh start
 zk.sh start

script/create-dolphinscheduler.sh
./install.sh

在这里插入图片描述
初始化安装好后，会直接帮你启动。
用网页端查看以下
hadoop102:12345/dolphinscheduler
初始账号密码
admin
dolphinscheduler123
在这里插入图片描述
常用命令

./bin/start-all.sh
./bin/stop-all.sh
./bin/status-all.sh

三、全流程调度

1.dolphinscheduler启动

考虑到虚拟机的资源问题，我们选择测试使用的单机模式，会省一点资源

./bin/dolphinscheduler-daemon.sh start standalone-server

在这里插入图片描述
由于我们用的是同一个数据库，所以效果适合集群一样的。

2.环境准备

1.创建租户

在这里插入图片描述
注意要和Linux用户相同

2.创建用户

在这里插入图片描述
这里要选择我们刚刚创建的租户

3.创建环境

具体参数根据自己电脑修改

export HADOOP_HOME=/opt/module/hadoop
export HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop
export SPARK_HOME=/opt/module/spark
export SPARK_HOME1=/opt/module/spark
export SPARK_HOME2=/opt/module/spark
export JAVA_HOME=/opt/module/jdk8u282-b
export HIVE_HOME=/opt/module/hive
export DATAX_HOME=/opt/module/datax

export PATH=$PATH:$HADOOP_HOME/bin:$SPARK_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin

在这里插入图片描述

4.worker分组

在这里插入图片描述
因为咱们就一台几点跑DS，所以就写一个worker地址就行。

5.上传脚本

用普通用户上传，否则普通用户无法调用管理员用户上传的文件
在这里插入图片描述
创建两个文件夹，分别上传需要的脚本。
在这里插入图片描述
在这里插入图片描述

6.创建项目

在这里插入图片描述

7.定义工作流

在这里插入图片描述
名称随意

ad_mysql_to_hdfs_full
在这里插入图片描述
hdfs_to_ods在这里插入图片描述

ods_to_dim
在这里插入图片描述
ods_to_dwd
在这里插入图片描述

HiveToClickhouse
在这里插入图片描述
在这里插入图片描述

com.atguigu.ad.spark.HiveToClickhouse

--hive_db ad   \
--hive_table dwd_ad_event_inc \
--hive_partition ${dt}   \
--ck_url  jdbc:clickhouse://hadoop102:8123/ad_report   \
--ck_table dwd_ad_event_inc   \
--batch_size 1000

最后全局保存的时候定义全局变量
在这里插入图片描述

3.数据准备

准备数据可以先把DS关掉
启动需要的环境

1.配置数据日期

hadoop102和103修改

vim /opt/module/ad_mock/nginxLogGen.setting

在这里插入图片描述

2.启动环境

hadoop.sh start
zk.sh start
kf.sh start
ad_f1.sh start
ad_f2.sh start

3.生成数据

ad_mock.sh
等待一段时间后，查看HDFS
在这里插入图片描述
等待数据生成完成即可。

4.全流程调度

现在我们进行全流程调度，可以把两个Flume进程和Kafka进程关掉，然后启动hiveserver2来启动hive
由于我们是本地单节点运行，所以最后把日志一起监控一下，除了问题方便排错。

tail -f logs/dolphinscheduler-standalone-server-hadoop102.out

上线工作流
在这里插入图片描述
运行工作流
在这里插入图片描述
在这里插入图片描述
出错了可以检查日志
在这里插入图片描述
在这里插入图片描述
我么可以用dbeaver连接clickhouse查看一下

总结

全流程调度就到这里吧，可视化还要再来一次。

超哥--
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EscalonadorProcessosSimulador:流程调度模拟器
06-06
调度程序进程模拟器流程调度模拟器
ProcessScheduler:流程调度如何发生的模拟
05-08
ProcessScheduler 流程调度如何发生的模拟
大数据数仓建设流程方案,数仓设计流程,适用于实际工作场景
老姜的数据江湖
10-25 1284
大数据数仓概念 学术上：数据仓库，英文名称为Data Warehouse，可简写为DW或DWH，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的( Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理、运营决策。 技术上：不可更新的，反映历史变化
【玩转数据系列八】机器学习算法的离线调度实现-广告CTR预测
weixin_33810302的博客
09-26 165
机器学习实验部署和调度 产品地址：https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2 （因为模板功能限制，本实验需要用户自行上传分区表数据。） （本文数据为虚构，仅供实验。本实验拟在介绍阿里云机器学习与大数据开发调度的配合。） 一、背景 本文实现的场景是广告的CT...
广告数仓：可视化展示
weixin_50835854的博客
06-28 527
今天来记录一下广告数仓的最后一部分。可视化展示到此广告数仓的项目就正式完结了。
【广告行业】基于Flink的广告行业实时数仓建设
Sunny的专栏
02-16 557
一、建设背景 广告是目前互联网流量变现的一种重要手段，广告投放的优化很大程度上依赖于广告效果数据，依托于广告曝光、点击、消耗、订单等指标调整广告投放策略，以达到最优投放效果。前期主要提供T+1效果数据，投放策略往往需要第二天才能做出调整，不能及时做出投放优化，特别在一些大促场景，实时优化显得尤为重要，需要及时调整例如人群、地域、出价等策略，以此为背景建设实时数据链路。 目前实时数据的场景主要有以下几种： 实时大屏：提供给运营、产品使用，展示核心的业务指标：曝光、点击、消耗等数据。 实时特征：提供
数仓实践：企业级 CDP 数据工程实践经验
云祁QI
07-06 1061
大家好，许久未见，我是云祁～今天想和大家分享下企业级CDP项目建设中的数据工程实践。在很多情况下，大家可能会将数据工程与ETL的过程画上等号，但实际上ETL只是数据工程的一部分，其工作量通常仅占整个数据项目的30%左右。而一个数据工程项目，本质上是要解决三大问题：客户有什么？客户想要什么？怎样设计最合理？因此，在数据工程项目中，数据现状梳理、业务理解和数据模型设计等工作量通常占据了项...
本地数仓项目(二)——搭建系统业务数仓详细流程
不以物喜的博客
01-05 1641
业务数仓搭建详细流程
OLAP数仓入门：进阶篇
大数据星球-浪尖
10-14 733
文章作者：温正湖 网易易数内容来源：数据库内核@知乎专栏导读：前一篇文章从OLTP出发，通过对比引出OLAP，进一步介绍了数仓的基本概念，包括多维数据模型、数据立方体及其典型操作等。本篇...
小迈科技 X Hologres：高可用的百亿级广告实时数仓建设
阿里云云栖号
07-01 905
为了满足业务团队的数据需求，小迈大数据技术团队从业务发展早期就开始建设数仓系统，从传统的神策阶段过渡到离线数仓，再发展到如今稳定的流批一体实时数仓共经历了3个阶段，从业务和技术的挑战中，不断对数仓系统进行迭代优化，从而支撑业务快速增长。...
实时数仓建设
热门推荐
.
07-22 2万+
数据智性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
进程调度流程图.doc
12-21
进程调度流程图相关知识点总结 进程调度流程图是计算机操作系统中的一种重要机制，用于管理和调度计算机中的进程。下面是从进程调度流程图中提取的相关知识点： 1. 进程调度算法：在进程调度流程图中， 涉及到多种...
负载调度器全流程
11-25
基于LVS，做一个HTTP负载调度器，共使用3台虚拟机，1台作为LVS调度器，2台作为实际服务器。本文采用的是NAT调度模型，调度算法为轮询。
psp:服务和流程的调度
06-29
psp 我要修饰这个文件
Nginx之静态文件服务器的搭建
wyx的博客
06-13 938
静态文件服务器是指提供HTML文件访问或客户端 可直接从中下载文件的Web服务器。对于图片、 JavaScript或CSS文件等渲染页面外观的、不会动态改 变内容的文件，大多数网站会单独提供以静态文件服 务器的方式对其进行访问，实现动静分离的架构。在以上配置中，每个server指令域等同于一个虚 拟服务器，每个location指令域等同于一个虚拟目录。
服务器雪崩的应对策略之----限流
最新发布
Warren++的博客
06-18 610
服务器雪崩的应对策略之----限流
三、网络服务协议
qq_33782021的博客
06-13 1213
根据自己的理解，分别对FTP、Telnet、AAA、DHCP、DNS、PPP、ISIS做了简单的介绍
DELL服务器插入新磁盘、创建虚拟磁盘、挂载磁盘步骤
Clang’s Blog
06-15 991
分区磁盘 sudo fdisk /dev/sdb # 格式化分区 sudo mkfs.ext4 /dev/sdb1 # 创建挂载点 sudo mkdir /mnt/newdisk # 挂载分区 sudo mount /dev/sdb1 /mnt/newdisk # 编辑 fstab 以实现持久挂载 sudo nano /etc/fstab这样就可以将新磁盘（sdb）挂载到，并且每次重启后它都会自动挂载在那里。
std::thread 调度问题
06-08
在使用 `std::thread` 创建线程时，可能会遇到一些调度问题。 首先，需要注意的是，线程的调度是由操作系统决定的，而不是由程序员控制的。操作系统会根据各种因素（如线程的优先级、线程的状态等）来决定哪个线程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值