Spark案例实践——广告点击实时分析

最新推荐文章于 2025-08-31 11:27:12 发布

原创

最新推荐文章于 2025-08-31 11:27:12 发布 · 1.2k 阅读

32 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

一、项目需求

某电商平台设定了很多广告位来接受广告的投放，当用户点击广告的时候会产生广告日志。为了实时看到广告的投放效果，现在需要实现一个广告实时点击分析系统，为广告更大规模的投入和调整打下坚实的基础，从而为公司带来最大化的经济回报。

广告点击实时分析系统的核心需求如下所示：
实时统计各个广告点击量的Topn
实时统计各个省份广告点击量的Topn
实时统计各个城市广告点击量的Topn

二、架构设计

在这里插入图片描述

三、数据流程设计

在这里插入图片描述

四、系统集群规划

在这里插入图片描述

五、业务建表

MySQL建库
在hadoop1节点，使用hive用户登录MySQL，并创建advertise数据库。
[root@hadoop1 ~]# mysql -h hadoop1 -u hive -phive
mysql> create database advertise;

MySQL建表
创建adversisecont表

create table adversisecont(
aid varchar(20) not null,
count int(11) not null);

创建provincecount表

create table provincecount(
province varchar(20) not null,
count int(11) not null);

创建citycount表

create table citycount(
city varchar(20) not null,
count int(11) not null);

创建advertiseinfo表并插入数据

USE `advertise`;

DROP TABLE IF EXISTS `advertiseinfo`;

CREATE TABLE `advertiseinfo` (
  `aid` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`aid`)
) ENGINE=InnoDB AUTO_INCREMENT=21 DEFAULT CHARSET=utf8;

insert  into `advertiseinfo`(`aid`,`name`) values (1,'论道云原生，且看大数据江湖'),(2,'首届「奇想奖」元宇宙征文大赛'),(3,'你真的懂Web渗透测试码？'),(4,'运维工程师，如何从每月3k涨到每月3w？'),(5,'Python人工智能全程套餐课'),(6,'Java入门到进阶一卡通'),(7,'王者技术体系课立即抢购'),(8,'报考C认证得超值学习大礼包'),(9,'开魔盒赢豪礼'),(10,'超级实习生等你来拿'),(11,'Python机器学习'),(12,'2022年，为什么一定要学网络安全'),(13,'月薪2万，为啥找不到运维人才'),(14,'k8s从蒙圈到熟练：搞懂技术就靠他了！'),(15,'重要通知：网工想涨工资，可以考个证'),(16,'Java不懂这些核心技能，还想去大厂'),(17,'你真的懂网络安全码？'),(18,'数据分析师掌握这4点，大厂抢着要'),(19,'做运维，为什么Linux必须精通'),(20,'云计算正在\"杀死\"网工运维');

创建distinctcode表并插入数据

USE `advertise`;

DROP TABLE IF EXISTS `distinctcode`;

CREATE TABLE `distinctcode` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `province` varchar(50) CHARACTER SET utf8 DEFAULT NULL,
  `provinceCode` varchar(20) CHARACTER SET utf8 NOT NULL,
  `city` varchar(50) CHARACTER SET utf8 NOT NULL,
  `cityCode` varchar(20) CHARACTER SET utf8 NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=161 DEFAULT CHARSET=latin1;

insert  into `distinctcode`(`id`,`province`,`provinceCode`,`city`,`cityCode`) values (1,'北京','BJ','朝阳区','BJ-CY'),(2,'北京','BJ','海淀区','BJ-HD'),(3,'北京','BJ','通州区','BJ-TZ'),(4,'北京','BJ','丰台区','BJ-FS'),(5,'北京','BJ','昌平区','BJ-FT'),(6,'广东省','GD','东莞市','GD-DG'),(7,'广东省','GD','广州市','GD-GZ'),(8,'广东省','GD','中山市','GD-ZS'),(9,'广东省','GD','深圳市','GD-SZ'),(10,'广东省','GD','惠州市','GD-HZ'),(11,'山东省','SD','济南市','SD-JN'),(12,'山东省','SD','青岛市','SD-QD'),(13,'山东省','SD','临沂市','SD-LY'),(14,'山东省','SD','济宁市','SD-JN'),(15,'山东省','SD','菏泽市','SD-HZ'),(16,'江苏省','JS','苏州市','JS-SZ'),(17,'江苏省','JS','徐州市','JS-XZ'),(18,'江苏省','JS','盐城市','JS-YC'),(19,'江苏省','JS','无锡市','JS-WX'),(20,'江苏省','JS','南京市','JS-NJ'),(21,'河南省','HN','郑州市','HN-ZZ'),(22,'河南省','HN','南阳市','HN-NY'),(23,'河南省','HN','新乡市','HN-XX'),(24,'河南省','HN','安阳市','HN-AY'),(25,'河南省','HN','洛阳市','HN-LY'),(26,'上海市','SH','松江区','SH-SJ'),(27,'上海市','SH','宝山区','SH-BS'),(28,'上海市','SH','金山区','SH-JS'),(29,'上海市','SH','嘉定区','SH-JD'),(30,'上海市','SH','南汇区','SH-NH'),(31,'河北省','HB','石家庄市','HB-SJZ'),(32,'河北省','HB','唐山市','HB-TS'),(33,'河北省','HB','保定市','HB-BD'),(34,'河北省','HB','邯郸市','HB-HD'),(35,'河北省','HB','邢台市','HB-XT'),(36,'浙江省','ZJ','温州市','ZJ-WZ'),(37,'浙江省','ZJ','宁波市','ZJ-NB'),(38,'浙江省','ZJ','杭州市','ZJ-HZ'),(39,'浙江省','ZJ','台州市','ZJ-TZ'),(40,'浙江省','ZJ','嘉兴市','ZJ-JX'),(41,'陕西省','SX','西安市','SX-XA'),(42,'陕西省','SX','咸阳市','SX-XY'),(43,'陕西省','SX','宝鸡市','SX-BJ'),(44,'陕西省','SX','汉中市','SX-HZ'),(45,'陕西省','SX','渭南市','SX-WN'),(46,'湖南省','HN','长沙市','HN-CS'),(47,'湖南省','HN','邵阳市','HN-SY'),(48,'湖南省','HN','常德市','HN-CD'),(49,'湖南省','HN','衡阳市','HN-HY'),(50,'湖南省','HN','株洲市','HN-JZ'),(51,'重庆市','CQ','江北区','CQ-JB')<