实训笔记8.31

已于 2023-09-01 18:51:13 修改
阅读量439 收藏
点赞数
分类专栏： 实训 文章标签： 笔记 大数据
于 2023-08-31 18:49:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cai_4/article/details/132609327
版权

实训笔记8.31

8.31笔记

一、项目开发流程一共分为七个阶段

1.1 数据产生阶段

1.2 数据采集存储阶段

1.3 数据清洗预处理阶段

1.4 数据统计分析阶段

1.5 数据迁移导出阶段

1.2~1.5：大数据开发阶段

1.3~1.5：周期性调度执行，三个阶段需要通过azkaban任务调度工具进行自动化周期调度执行，
（项目的第7个阶段，任务调度阶段）

1.6 数据可视化阶段

二、项目数据清洗预处理的实现

2.1 清洗预处理规则

2.1.1 数据清洗规则
  1. 一条用户行为数据如果字段个数不足16，那么数据不完整，舍弃
  2. 一条用户行为数据中如果响应状态码大于等于400的，那么数据访问错误，舍弃
  3. 一条用户行为数据中省份 纬度 经度 年龄以-填充的，那么代表数据缺失，舍弃
2.1.2 数据预处理规则
  1. 预处理规则：清洗完成的数据中最后在输出时，有很多的字段我们不需要的，因此我们需要对部分数据进行舍弃，对需要保留的字段数据以\001特殊字符分割输出

2.2 技术选项

MapReduce技术

2.3 代码实现

【注意】

  1. 因为我们只需要做数据的清洗预处理操作，不涉及到聚合操作，因此我们只需要一个Mapper阶段即可，不需要reduce阶段

  2. MapReduce数据清洗预处理是周期性调度执行的，一天执行一次，第二天处理前一天采集存储的数据，前一天采集存储的数据是以时间为基准的动态目录下存放，因此MR程序处理数据时，输入数据的目录必须得是昨天时间的目录。

    【注意】会在第二天处理前一天的数据，一般会在第二天的凌晨去处理第一天采集存储的数据。（任务调度的事情）

  3. MR程序处理完成的数据输出到HDFS上，但是数据清洗预处理完成的数据给Hive做统计分析的，Hive我们也是一天执行一次，Hive是在数据清洗预处理完成之后执行的。 MR程序处理完成的数据输出到HDFS上时，也必须以基于时间的动态目录存放

  1. 创建Maven项目，引入MR的编程依赖
  2. 编写MR程序的Mapper程序和Driver驱动程序
  3. 在本地测试运行无问题之后，需要将代码打成jar包上传到大数据环境中在YARN上运行 必须启动YARN

三、项目的数据统计分析阶段

3.1 概念和技术选项

统计分析就是基于我们清洗预处理完成的高质量，从不同的数据纬度聚合数据，或者对数据进行计算得到我们感兴趣的一些指标或者是对网站运营发展有关的一些指标。

统计分析进行数据计算时，可能涉及到大量的聚合操作以及一些排名、排序等等操作，而这些操作也都是数据计算，那么我们就可以使用大数据计算框架完成，而大数据计算框架MapReduce如果要聚合、排序、分组等操作，MR代码就会非常的复杂。因此我们一般做统计分析时有一个想法，既能计算大量的数据，还能快速简单的进行数据的聚合、排名、分组等操作。就可以使用Hive数据仓库技术完成。

【注意】基本上到现在为止，如果我们要做大数据统计分析，不是直接使用大数据计算框架（MapReduce、Spark、Flink），因为大数据统计分析涉及到大量的聚合、排序、分组等等操作，操作如果直接使用大数据计算框架代码会非常的复杂。基本上都是使用类SQL（表面上写的是类SQL语句，底层还是大数据计算框架）的方式进行大数据统计分析的。

Hadoop—Hive

Spark—Spark SQL

Flink—Flink SQL

3.2 Hive数据仓库进行统计分析时两个核心概念

3.2.1 数据仓库分层

数据仓库建模是用来梳理表和表之间的关系的，便于我们后期进行统计分析。数据仓库分层是我们使用数据仓库进行统计分析的开发流程。

数据仓库分层从最底层开始到最高层主要有如下三层（不同的公司基于三层更加细致的分层）

  1. ODS层（数据贴源层）

如果我们要使用Hive数据仓库做统计分析，首先我们需要把清洗预处理完成的数据导入到Hive中加载成为一个数据表，ODS层指的就是把清洗预处理完成的数据原模原样的导入到Hive中，导入进来之后这些表组成了ODS层

  1. DW层（数据仓库层）–Hive统计分析的核心 数据仓库建模的阶段

    1. DWD层（明细宽表层）

      1. 把ODS层的数据表可以再次处理一下构建成为一个明细宽表、
      2. 明细宽表一般会把ODS层的字段拆分成更加细粒度的字段，便于我们后期好做统计分析（时间字段）

    2. DIM层（纬表层）

纬度表如果比较多，那么纬度表单独划分到DW的DIM层

  1. ADS层（数据应用层）

将统计分析的结果以指标表的形式存储到ADS层

3.2.2 数据仓库建模

建模的目的是为了方便我们后期统计分析

在使用Hive进行数据统计分析时，首先必须先把清洗预处理完成的数据加载到Hive中成为数据表，而且一般在真实的企业项目中，清洗预处理完成数据不止一个，各种各样的数据，数据和数据之间都是有关系的。

所谓的数据仓库建模就是我们在对数据进行清洗预处理的时候，清洗预处理完成之后的多个数据之间的关系梳理建模

  1. 数据仓库建模的名词解释

    1. 事实表：一张表中基本全都是外键，如果我们需要查询数据，需要将这个表和各个对应的其它数据表进行关联查询才能得到我们想要的数据 订单表
    2. 维度表：事实表中外键对应的详细信息存储的表，而且他也是我们统计分析时纬度信息 用户表 商品表

  2. 数据仓库模型建立有很多种方式的，主要分为

    1. 3NF数据仓库建模

    2. 纬度建模

      1. 星型模型

        事实表直接与纬度表关联，而且只有一级关联

      2. 雪花模型

        事实表直接与维度表关联，纬度表拆分出更加细致的一些纬度表

      3. 星座模型

        在一个数仓中，事实表有多个，每一个事实表都有它自己对应的纬度表，纬度表还有它的二级纬度表

如何完成建模？数据清洗预处理的时候，把数据处理成为合适的模型结构

3.3 数据统计分析的实现（最好把所有的HQL代码写到一个SQL文件中，最后统一执行运行） 统计分析必须启动HDFS和YARN

3.3.1 构建ODS层

ODS层指的是我们把清洗预处理完成的数据不加以任何的处理，直接原模原样的在Hive中构建与之对应的表格，并且把数据装载到表格当中

清洗预处理完成的数据格式以\001特殊字符分割的，这样的话可以避免分隔符和字段的中一些符号冲突，导致装载数据到Hive出现串行的问题。

Hive中数据表有很多分类的：内部表、外部表、分区表、分桶表

考虑：数据统计分析一天执行一次，也就意味着我们每天处理完成的数据都需要往Hive的ODS层的数据表导入一份，如何区分ODS层导入的数据是哪一天？需要构建一个分区表（基于时间的）。外部表

3.3.2 构建DWD层

DWD明细宽表层就是把ODS层的数据表字段拆分成为更加细粒度的字段，便于我们后期的统计分析。 DWD层说白了就是在ODS的数据表基础之上在多增加一些冗余字段，但是方便我们后期操作了

  1. ODS层的字段如下：

  1. 可以拆分的字段主要有两个

    1. 时间字段：后期需要基于细粒度的时间做统计分析

      年

      月

      日

      时

    2. 来源URL字段：后期统计站内站外的流量占比，站内站外的对比是基于HOST主机名/域名——HOST

DWD层这个数据表就属于我们Hive的自有表了，因此明细宽表我们构建成为内部分区表即可

明细宽表中没有数据，明细宽表中的数据从什么地方来？因为DWD层是基于ODS层建立的，因此DWD层的数据需要从ODS层查询获得。 需要从ODS层对应的数据表中查询指定的数据添加到DWD层当中（注意一下分区的问题）。

3.3.3 构建ADS层

ADS层其实就是我们基于DW数据仓库库构建的DWD和DIM层的数据表，进行查询，通过聚合、分组、排序等等操作统计相关的指标，得到指标数据，然后将指标数据存储到一个Hive数据表中。

  1. 基于时间纬度的指标

    1. 统计网站每年的用户的流量

      网站每天都会产生数据，每一天数据一增加，那么当前年份的用户访问量必然增加一天的数据

      思路：不是针对明细宽表某一个分区的数据进行统计分析，而是针对于明细宽表中整体数据集进行统计分析（所有的分区进行操作）

      实现：因为在明细宽表中已经拆分除了visit_year字段，因此我们只需要根据visit_year分区聚合数据即可得到，每一年的用户访问量

      select visit_year,count(*) from dwd_user_behavior_detail group by visit_year;

    2. 统计网站每一年不同月份的用户流量

      1. 实现同上
      2. 区别：分组时，需要根据年和月来分组

    3. 统计网站每一年不同月份下每天用户的访问量

      1. 实现同上
      2. 区别：分组的时候，需要根据年、月、日三个字段来分组

    4. 统计网站每一年不同月份下每天的每小时用户的访问量

      1. 实现同上
      2. 区别：分组的时候，需要根据年、月、日、时四个字段来分组

    5. 统计网站每一年每一个月的流量相比于上个月的比例：开窗函数（上边界和下边界），针对每一年不同月份的用户流量指标的二次分析结果

      select 
	temp.*,
	concat(round(temp.flow/temp.before_month_flow,1)*100,"%") as rate
from  (
	select 
	  * ,
	  first_value(flow) over(partition by visit_year order by visit_month asc rows between 1 PRECEDING and CURRENT ROW) as before_month_flow
	 from ads_month_flow
) as temp

  2. 基于地理纬度的指标

    1. 统计网站不同省份每天用户的流量

      1. 数据统计分析每天执行一次，每天都要统计不同省份在当天的用户流量占比情况
      2. 统计两种方式
        1. 针对明细宽表的数据集整体进行聚合统计
          1. 上面这种方式不太友好，8.31号我要统计，按道理来说只需要统计8.30号采集的数据即可，8.29号的数据不需要统计了
          2. 但是如果针对数据集整体统计的话，8.29号的结果会重新计算一遍
          3. 指标表添加数据时需要覆盖添加
        2. 只针对当前时间分区的数据进行统计
          1. 节省资源
          2. 指标表的数据需要追加添加即可

    2. 统计网站不同省份每月/每年用户流量

      针对的就是数据集整体 而非某一个分区

    3. 每天访问量TOP10的省份

      针对的不是明细宽表 而是我们的前面统计不同省份每天用户流量指标（二次分析），指标统计出来之后需要覆盖添加

      需要使用排名函数

      ads_province_day_flow

      select  temp.date_time, temp.province, temp.flow from{ select    *, row_number() over(partition by data_time order by flow desc) as rank_num from ads_province_day_flow } as temp where temp.rank_num <=10;

  3. 基于用户纬度的指标

    1. 统计网站不同年龄段用户的流量

      明细宽表当中，存在一个字段代表的是用户的年龄，而用户年龄都是大于等于18岁，小于100岁。

      基于年龄这个字段，我想查看一下网站不同年龄段的用户情况

      用户年龄段

      1. 青年：18-44
      2. 中年：45-59
      3. 中老年：60-79
      4. 老年：80岁以上

      【注意】案例针对是数据集整体，不参杂时间的纬度概念，指标需要覆盖添加的

      需要用到hive中的分支函数

    2. 统计网站每年/每月/每天的不同年龄段的用户访问量

    3. 统计每天网站的独立访客数

      1. 独立访客数其实就是IP地址，一个IP算一个独立访客，只需要把每天的ip地址去重之后求一个总数，得到每天的独立访客数
      2. 针对某一个分区的，指标数据就是追加

    4. 统计网站每月、每年的独立访问数

      针对数据集整体了

  4. 基于终端纬度的指标

    1. 统计网站用户使用的不同浏览器的占比情况

      1. 用户行为数据中有一个字段user_agent，user_agent当中就包含着我们用户使用的浏览器信息情况，基于这个字段统计统计网站不同浏览器的占比情况
      2. 不统计所有的浏览器，我们只统计一些常见的浏览器的占比 IE、淘宝、火狐、欧朋、QQ浏览器 Safari苹果
      3. 不同年龄段用户访问量指标是类似的

    2. 统计网站不同时间段下的不同浏览器的占比情况

  5. 基于来源纬度的指标

    1. 统计网站每天站内和站外的流量占比
      1. 用户行为数据中有一个字段referer_url字段，字段代表的是用户访问网站的来源，来源可能是站内的，可能是站外的，现在统计网站站内和站外的来源流量
      2. 区分站内和站外来源，主要看referer_url中referer_host字段，字段代表来源的域名，如果域名是www.bailongma.com那么代表来源是站内的 如果域名不是白龙马 那么代表来源是站外的针对的是数据集整体，覆盖
    2. 统计网站不同时间段的站内和站外的流量占比
    3. 统计网站不同来源网站的占比

  6. 指标有很多，可以进行各种自由扩展

3.4 统计分析部署和运行

我们统计分析也是每天执行一次，我们总不能每天运行统计分析，指标代码我们自己手动挨着运行

我们统计分析需要把所有统计分析代码封装到一个xxx.sql文件中，然后到时候统计分析需要执行，我们直接使用hive -f xxx.sql --hiveconf xxx=xxxx

四、项目的数据迁移导出阶段

4.1 概念

现在我们通过Hive数据仓库做的统计分析指标都是在Hive的ADS层存储着。统计的指标的主要目的是为了指导网站的发展和运营的，因此统计完成的数据其中可以做很多操作：基于统计分析的结果进行二次统计分析；基于统计分析的指标结合相关大数据算法做一些数据预测或者数据的深度挖掘；基于统计分析的结果进行可视化大屏的制作。

我们项目中最终需要把统计分析的结果以图表的形式进行可视化展示。

目前现有的可视化技术基本都不太支持从Hive中直接读取数据然后进行可视化展示，但是这些技术支持从RDBMS（MySQL）中读取数据进行可视化展示。

因此我们做可视化大屏之前，需要把Hive数据仓库中ADS层的数据迁移导出到RDBMS关系型数据库当中，然后再借助大数据技术+RDBMS实现数据可视化展示即可

4.2 数据迁移导出的技术选型

我们就是想把Hive数据仓库中数据导出到RDBMS中，目前只学了SQOOP技术

当然除了Sqoop技术以外，还有一个技术DataX（阿里云提供的数据传输工具）

4.3 数据迁移导出的开发实现

要把Hive的数据迁移到MySQL中，SQOOP既可以实现把RDBMS数据迁移到大数据环境（导入），同时也支持把大数据环境数据迁移到RDBMS中（导出）

只需要编写针对性的SQOOP导出数据的命令即可，导出的时候需要注意两个问题：

  1. MySQL中的必须提前存在和导出的指标表一致的数据表结构
  2. 导出数据时，有些指标数据追加到MySQL中（针对于分区的指标统计）–sqoop默认导出就是追加的，但是有些指标需要覆盖原先的MySQL数据表（针对整体数据集的指标统计）–sqoop支持不良好，可以通过sqoop把原始MySQL数据表清空，然后再导出

【注意】：后期的话我们做数据可视化，我们需要连接MySQL，我们本次只讲第三方工具的可视化，工具可视化基本上都是支持公网数据库，我们的自己的局域网数据库不支持的。 如何获取带有一个公网IP的MySQL数据库：

  1. 我们购买一个云服务器，然后在云服务器上自己安装一个MySQL即可。
  2. 我们直接购买一个云MySQL数据库。

五、项目的数据可视化阶段

白龙马大屏

六、【项目补充点】

6.1 模拟其他年份，其他月份，其他日期的数据

  1. 只需要通过date -s “时间” 系统时间改成我们想要模拟数据的日期即可
  2. 把以前产生的userBehavior.log文件删除了
  3. 然后启动采集程序 启动数据模拟程序
  4. 处理数据，只需要再把系统时间往后调整一天

【注意】：数据清洗预处理和数据统计分析，底层需要用到MR程序，一定一定要注意MR程序的Map任务的个数和reduce任务的个数，以及每一个map任务和reduce任务占用的内存。

七、相关代码

7.1 导出

# shell脚本中需要封装所有和数据导出相关的sqoop命令
# 导出每年用户的流量指标，指标针对的是数据集的整体，所以为了防止数据重复，导出的时候需要覆盖导出
# sqoop对覆盖导出适用还是有点问题，折中的方式：先通过sqoop命令把mysql对应的指标表的数据先清空 再导出
echo "======================导出ads_year_flow指标开始======================"
sqoop eval --driver com.mysql.cj.jdbc.Driver --connect 'jdbc:mysql://gz-cdb-8yj5rfsd.sql.tencentcdb.com:63506/project?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8' --username root --password admin777rmrf --query 'truncate year_flow'

sqoop export --driver com.mysql.cj.jdbc.Driver --connect 'jdbc:mysql://gz-cdb-8yj5rfsd.sql.tencentcdb.com:63506/project?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8' --username root --password admin777rmrf --table 'year_flow' --columns visit_year,flow --export-dir /user/hive/warehouse/project.db/ads_year_flow --input-fields-terminated-by '\001' -m 1

echo "===================== 导出ads_year_flow指标成功======================"

# 导出省份每天的流量 针对的分区数据统计 因此这个指标需要追加导出而非覆盖导出
echo "======================导出ads_province_day_flow指标开始======================"

sqoop export --driver com.mysql.cj.jdbc.Driver --connect 'jdbc:mysql://gz-cdb-8yj5rfsd.sql.tencentcdb.com:63506/project?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8' --username root --password admin777rmrf --table 'province_day_flow' --columns data_time,province,latitude,longitude,flow --export-dir /user/hive/warehouse/project.db/ads_province_day_flow --input-fields-terminated-by '\001' -m 1

echo "===================== 导出ads_province_day_flow指标成功======================"

7.2 生成

7.3 收集

# 1、给Flume进程agent起名别  source  channel sink组件起别名
project.sources=s1
project.channels=c1
project.sinks=k1

# 2、配置source关联的数据源  记录用户行为数据的日志文件/root/project/data-gen/userBehavior.log
project.sources.s1.type=exec
project.sources.s1.command=tail -F /root/project/data-gen/userBehavior.log

# 3、配置channel管道  基于内存的
project.channels.c1.type=memory
project.channels.c1.capacity=20000
project.channels.c1.transactionCapacity=10000
project.channels.c1.byteCapacity=104857600

# 4、配置sink关联的目的地 HDFS  HDFS的目的地是一个基于时间的动态目录
project.sinks.k1.type=hdfs
project.sinks.k1.hdfs.path=hdfs://single:9000/dataCollect/%Y-%m-%d
project.sinks.k1.hdfs.round=true
project.sinks.k1.hdfs.roundValue=24
project.sinks.k1.hdfs.roundUnit=hour
project.sinks.k1.hdfs.filePrefix=data
project.sinks.k1.hdfs.fileSuffix=.log
project.sinks.k1.hdfs.useLocalTimeStamp=true
# 文件滚动设置只基于文件的大小的滚动 不基于event滚动、时间滚动
project.sinks.k1.hdfs.rollInterval=0
project.sinks.k1.hdfs.rollCount=0
project.sinks.k1.hdfs.rollSize=134217728
project.sinks.k1.hdfs.fileType=DataStream

# 5、关联agent的各个组件
project.sources.s1.channels=c1
project.sinks.k1.channel=c1

7.4 清理

#!/bin/bash
hadoop jar /root/project/data-clean/project-clean-pre.jar com.sxuek.DataCleanDriver

7.5 分析

#!/bin/bash
yes=`date -d 'yesterday' +%Y-%m-%d`
echo $yes
hive -f /root/project/data-analy/data_analy.sql --hiveconf yesterday=$yes

-- 0、创建一个项目专属的数据库
create database if not exists project;
use project;
-- 1、构建ODS层的数据表，数据表和清洗预处理完成的数据格式一致的表格 而且ODS层的表格是外部分区表
create external table if not exists ods_user_behavior_origin(
   ip_addr string, --ip地址
   visit_time string,-- 浏览时间
   request_url string,-- 行为触发之后的请求网址
   referer_url string,-- 来源网址
   user_agent string,-- 用户使用的浏览器信息
   province string, --省份
   latitude string, -- 纬度
   longitude string, -- 经度
   age int --年龄
)partitioned by(data_gen_time string)
row format delimited fields terminated by '\001'; 

-- 2、需要将清洗预处理完成的昨天的数据（/dataClean/yyyy-MM-dd）导入到ods层的昨天时间分区中。
load data inpath '/dataClean/${hiveconf:yesterday}' into table ods_user_behavior_origin partition(data_gen_time='${hiveconf:yesterday}');

-- 3、构建DWD明细宽表层  就是在ods数据表基础之上增加了五列字段 visit_year  visit_month  visit_day  visit_hour referer_host
create  table if not exists dwd_user_behavior_detail(
   ip_addr string, --ip地址
   visit_time string,-- 浏览时间
   visit_year string, --拆分的浏览年份
   visit_month string,----拆分的浏览月份
   visit_day string,---拆分的浏览天
   visit_hour string,---拆分的浏览时
   request_url string,-- 行为触发之后的请求网址
   referer_url string,-- 来源网址
   referer_host string, -- 来源网址的域名
   user_agent string,-- 用户使用的浏览器信息
   province string, --省份
   latitude string, -- 纬度
   longitude string, -- 经度
   age int --年龄
)partitioned by(data_gen_time string)
row format delimited fields terminated by '\001'; 

-- 4、从贴源数据表查询明细宽表所需的数据，然后把数据增加到明细宽表的昨天的时间分区中
insert overwrite table dwd_user_behavior_detail partition(data_gen_time='${hiveconf:yesterday}')
select 
	ip_addr,
	visit_time,
	date_format(visit_time,'yyyy') as visit_year,
	date_format(visit_time,'MM') as visit_month,
	date_format(visit_time,'dd') as visit_day,
	date_format(visit_time,'HH') as visit_hour,
	request_url,
	referer_url,
	parse_url(referer_url,'HOST') as referer_host,
	user_agent,
	province,
	latitude,
	longitude,
	age
from ods_user_behavior_origin 
where data_gen_time='${hiveconf:yesterday}';

-- 5、构建数据应用层 统计各种各样的指标数据，并且把指标数据保存到Hive对应的指标表中 指标表的结构必须和我们查询的指标数据一致的
--（1）基于时间纬度--统计网站每年用户的流量
create table if not exists ads_year_flow(
   visit_year string,
   flow bigint
)row format delimited fields terminated by '\001';

-- 将统计的结果覆盖添加到基于年份的指标表中 防止年份流量数据重复
insert overwrite table ads_year_flow
select  visit_year,count(*)  from dwd_user_behavior_detail group by visit_year;


-- （2）统计网站每一年不同月份的用户流量
create table if not exists ads_month_flow(
   visit_year string,
   visit_month string,
   flow bigint
)row format delimited fields terminated by '\001';

insert overwrite table ads_month_flow
select  visit_year,visit_month,count(*)  from dwd_user_behavior_detail group by visit_year,visit_month;


-- （3）基于地理纬度的指标--统计网站不同省份每天用户的流量  针对分区的方式完成
create table if not exists ads_province_day_flow(
   data_time string,
   province string,
   latitude string,
   longitude string,
   flow bigint
)row format delimited fields terminated by '\001';

-- 因为这个指标是针对某一个分区的数据进行的 不用担心和以前统计出来的结果冲突 所以追加即可
insert into table  ads_province_day_flow
select data_gen_time,province,latitude,longitude,count(*) from dwd_user_behavior_detail where data_gen_time='${hiveconf:yesterday}'  group by data_gen_time,province,latitude,longitude;


-- （4）统计网站不同年龄段的用户访问量
create table if not exists ads_age_range_flow(
   youth bigint,
   middle_age bigint,
   middle_elderly_age bigint,
   old_age bigint
)row format delimited fields terminated by '\001';


-- 针对的是数据集整体 每天要执行一次  因此这个指标覆盖添加
insert overwrite table ads_age_range_flow
select 
	sum(if(age>=18 and age <=44,1,0)),
	sum(if(age>=45 and age <=59,1,0)),
	sum(if(age>=60 and age <=79,1,0)),
	sum(if(age>=80,1,0))
FROM dwd_user_behavior_detail;


-- （5）基于用户纬度--统计网站每天的独立访客数
create table if not exists ads_day_uv(
   date_time string,
   num bigint
)row format delimited fields terminated by '\001';


insert into table ads_day_uv
select 
	data_gen_time ,
	count(DISTINCT(ip_addr))
FROM dwd_user_behavior_detail WHERE data_gen_time ="${hiveconf:yesterday}" group by data_gen_time;



-- （6）基于终端纬度--统计网站不同浏览器的使用占比
create table if not exists ads_user_agent_flow(
   user_agent string,
   flow bigint
)row format delimited fields terminated by '\001';


insert overwrite table ads_user_agent_flow
select "IE",count(1) from dwd_user_behavior_detail where user_agent like '%MSIE%'
UNION 
select "Firefox",count(1) from dwd_user_behavior_detail where user_agent like '%Firefox%'
UNION 
select "Opera",count(1) from dwd_user_behavior_detail where user_agent like '%Opera%'
UNION 
select  "Safari",count(1) from dwd_user_behavior_detail where user_agent like '%Safari%'
UNION 
select "QQBrowser",count(1) from dwd_user_behavior_detail where user_agent like '%QQBrowser%'
UNION 
select  "TaoBrowser",count(1) from dwd_user_behavior_detail where user_agent like '%TaoBrowser%';


-- （7）基于来源纬度的指标--统计网站站内和站外的流量情况
create table if not exists ads_flow_referer(
   referer string,
   flow bigint
)row format delimited fields terminated by '\001';


insert overwrite table ads_flow_referer
select "站内",count(1) from dwd_user_behavior_detail where referer_host = "www.bailongma.com"
UNION 
select "站外",count(1) from dwd_user_behavior_detail where referer_host != "www.bailongma.com";
cai-4
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
EurekaLog_7.7.8.31
08-23
版本7.7.8.31是这个工具的一个特定更新，它已经过适配，兼容Delphi Rio版本，并且已经在Delphi 10.3.2上通过了测试，确保了与最新Delphi IDE的良好集成。 在安装EurekaLog 7.7.8.31时，用户需要注意设置环境变量...
三菱GX8.31软件使用教程
10-23
PLC 学习板是基于PLC 软件学习的一款学习板。该学习板硬件资丰富，布 局清晰明了。利用该学习板的资源可熟悉和掌握一些简单PLC的编程。
pcre-8.31.zip
11-19
标题"Pcre-8.31.zip"对应的压缩文件包含了用于Linux系统中的Perl Compatible Regular Expressions (PCRE)库的版本8.31。这个库在许多开源软件项目中被广泛使用，尤其是像Apache这样的Web服务器，它依赖PCRE来处理URL...
Chitic8.31.20.rar
03-20
【标题】"Chitic8.31.20.rar" 提供的可能是一个关于PLC（可编程逻辑控制器）的资料包，日期可能是2020年8月31日。这种类型的文件通常包含手册、教程、编程软件、示例程序或者与PLC相关的硬件配置文档。 【描述】中...
pcre-8.31.tar.gz
12-07
标题 "pcre-8.31.tar.gz" 指的是一个名为"PCRE"（Perl Compatible Regular Expressions）的库的版本8.31的源代码压缩包，它以tar.gz格式封装。这个库主要用于处理正则表达式，提供与Perl语言兼容的正则表达式功能。...
防御笔记第七天（时需更新）
weixin_63264424的博客
07-16 764
HRP在进行双机热备时，还有一个要求，两台热设备之间，必须拥有一条链路，用来同步信息，并且，这条链路必须是三层链路---这两条路在进行数据传输时，不受安全策略的影响，（注意，如果心跳线是直连的，则不受安全策略的影响，但是中间有中继设备，即非直连场景，则需要配置安全策略）----心跳线----VGMP发送的报文也是通过心跳线传输的。配置信息---（接口IP地址，路由地址）-----hrp不能同步基本的接口和路由信息，安全策略和NAT策略……状态信息-----会话表，server-map，黑名单和白名单等等。
node模块加载及第三方包（学习笔记）
oopsboom的博客
07-16 587
gulp是什么？ 基于node平台开发的前端构建工具 将机械化操作编写成任务, 想要执行机械化操作时执行一个命令行命令任务就能自动执行了 用机器代替手工，提高开发效率。 能做什么？ 项目上线，HTML、CSS、JS文件压缩合并 语法转换（es6、less …） 公共文件抽离 修改文件浏览器自动刷新 Gulp使用 1.使用npm install gulp下载gulp库文件 2.在项目根目录下建立gulpfile.js文件（只能是这个文件） 3.重构项目的文件夹结构 src目录放置源代码文件 dist目录放置构
NestJS笔记
m0_65519288的博客
07-16 609
概述：本篇文章是NestJS笔记，包括了Nest的基本使用、连接数据库、日志操作。
Java并发编程与高并发解决方案笔记
tuku0801的专栏
07-17 988
将结合大量图示及代码演示，带你掌握多线程并发编程（线程安全，线程调度，线程封闭，同步容器等）与高并发处理思路与手段（扩容，缓存，队列，拆分等），构建完整的并发与高并发知识体系
AGV栅格地图与QImage图片转换笔记
Pou光明的博客
07-15 309
最近在加班加点处理一个agv相关的任务，印象比较深的是将agv给的json数据转换为一个图片。最终的简化需求是将某坐标系下的二维点数据转换为一张图片的像素。Ok，首先的问题是如何将二维的数据映射到栅格坐标系。先看数据例子："mapType":"2D-Map","maxPos":{"x":4.51,"y":16.331},"minPos":{"x":-14.138,"y":-1.48} "resol...
cs224w笔记（p5）
m0_51118873的博客
07-19 313
它特别关注两个节点共有的邻居节点，并给予那些在网络中不太常见的共有邻居更高的权重，而对于那些更常见的共有邻居则给予较低的权重。其中，Γ(𝑢)Γ(u) 表示节点 𝑢u 的邻居节点集合，Γ(𝑣)Γ(v) 表示节点 𝑣v 的邻居节点集合，Γ(𝑢)∩Γ(𝑣)Γ(u)∩Γ(v) 表示 𝑢u 和 𝑣v 的共有邻居节点集合。其中，𝐴A 和 𝐵B 分别代表两个集合，∣𝐴∩𝐵∣∣A∩B∣ 表示集合 𝐴A 与 𝐵B 的交集元素的数量，而 ∣𝐴∪𝐵∣∣A∪B∣ 表示集合 𝐴A 与 𝐵B 的并集元素的数量。
STM32学习和实践笔记（40）：DS18B20温度传感器实验
qq_37191547的博客
07-15 827
DS18B20温度传感器的内部存储器包括一个高速的暂存器RAM和一个非易失性的可电擦除的EEPROM,后者存放高温度和低温度触发器TH、TL和配置寄存器。60~240 us，以产生低电平应答脉冲。单总线器件仅在主机发出读时序时，才向主机传输数据，所以，在主机发出读数据命令后，必须马上产生读时序，以便从机能够传输数据。比如我们要计算+85度，数据输出十六进制是0X0550，因为高字节的高5位为0，表明检测的温度是正温度，接着主机释放总线，外部的上拉电阻将单总线拉高，延时 15～60 us，并进入接收模式。
Cadence23学习笔记（三）
zjb6668的博客
07-15 358
焊接FPC的时候先上锡，焊台加热后再图上焊油，再放置元器件，再加热：万用表测电流只需要把表笔接到电流的孔位即可测量电流，不需要接再串联一个负载：有些线性电源两个通道可以串联，并联起来使用；
上海昇腾AI训练营笔记
嵌入式点灯砖家的博客
07-18 807
Ascend C系列AI处理器适用于计算力需求较低的场景，如智能监控、边缘计算等。提供多种精简模式和高性能模式，满足不同应用场景下的性能要求。支持全场景覆盖，既可以部署在云端也可以部署在端侧。
【c++刷题笔记-动态规划】day41： 121. 买卖股票的最佳时机、122.买卖股票的最佳时机II 、
qq_48662659的博客
07-16 416
两个状态，持有和不持有。持有是前几天买入没有卖出的状态和今天刚刚买入的状态。不持有是前几天卖出和今天卖出的状态。dp数组初始化第一天持有就一定是第一天买入的。今天依赖前几天的状态取最大值。
请求头中的Cookie和Referer（学习笔记）
最新发布
weixin_74254879的博客
07-19 355
Cookie 是保存在客户端（通常是浏览器）上的一个小型文本文件。它由服务器发送，并且在之后的每次请求中，客户端都会自动将这个 Cookie 附带到请求头中，发送回服务器。在用户登录之后，为了能够准确地获取到用户的登录信息，服务器通常会生成一个唯一的 Session ID，并将其存储在 Cookie 中。这个 Cookie 会跟随请求头一起提交到服务器。这样，服务器就能够识别出这是哪一个用户，从而返回相应的数据。可以使用 模块 requests 的session来模拟这种行为。session。
AIGC笔记--Classifer Guidance的代码理解
牵一只蜗牛去散步
07-17 191
1--完整可debug代码。1--完整可debug代码。
Scala学习笔记17: Try与异常处理
Taerge0110的博客
07-15 543
Try类型是 Scala中函数式异常处理的重要工具, 它让挖煤可以用更优雅、更简洁的方式来处理异常, 使代码更易于理解和维护 .
Games101学习笔记 Lecture 20: Color and Perception
weixin_70073176的博客
07-17 920
Pθϕ)λPθϕλ)PθϕλtVx​Vy​Vz​。
pcre 8.31 下载
07-26
要下载PCRE 8.31，可以按照以下步骤进行操作： 首先，打开任意一个浏览器，然后在搜索栏中输入“PCRE 8.31下载”。 然后，在搜索结果中找到官方网站或可靠的第三方下载来源。推荐的官方网站是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cai-4

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值