Spark+ES+ClickHouse 构建DMP用户画像(1)

已于 2023-02-14 17:45:05 修改
阅读量593 收藏 3
点赞数
分类专栏： 构建DMP用户画像 文章标签： spark elasticsearch clickhouse
于 2023-02-09 16:07:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44090239/article/details/128952699
版权

环境搭建

环境搭建

一、数据上传到hdfs

hdfs dfs -rm -r ${data_path}
hdfs dfs -mkdir -p ${data_path}
hdfs dfs -put l o c a l f i l e p a t h p r o f i x {local_file_path_profix} localf​ilep​athp​rofix{col} d a t a p a t h p r o f i x {data_path_profix} datap​athp​rofix{col_path}“/”${dt}
提示：一般是使用flume

二、创建临时内部分区表

drop table if exists  tmp.dim_product_tmp;
CREATE TABLE IF NOT EXISTS tmp.dim_product_tmp (
 item_sk int comment '代理健',
 item_id string comment '商品id',
 cate int comment '商品分类',
 brand int comment '商品品牌',
 a1 int comment '商品属性1',
 a2 int comment '商品属性2',
 a3 int comment '商品属性3'
)COMMENT '商品维度表'
partitioned by (dt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
location 'hdfs://node01:9000/test4/data/dim_product/';

内部表：为了删除表的同时删除数据
location：与数据路径一致，为了添加分区的时候可以使用相对路径
飘号在shell中是命令函数的意思，会优先执行； hive建表需要考虑到关键字问题，尽量不使用关键字。

三、创建外部压缩表

drop table if exists  ods.dim_order;
CREATE external TABLE IF NOT EXISTS ods.dim_order (
 order_sk int comment '代理键',
 order_id string comment '订单id',
 user_id string comment '用户id' ,
 final_total_amount decimal(16,2) comment '总金额',
 finish_time string comment '完成时间',
 finish_time_hour string comment '完成时间（小时）'
)COMMENT '订单维度表'
partitioned by (dt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS ORC
location 'hdfs://node01:9000/test4/ods/dim_order'
TBLPROPERTIES('orc.compress'='snappy');

存储格式：ORC
压缩格式：snappy
内部表和外部表区别： 建表语句是否使用到了 external 。 对于内部表删除后数据也会消失，外部表数据不会消失；业务上更多使用外部表。 location内部外表表都可以使用；使用了location 表位置在location位置，否则是在默认的位置。 对于load 会移动数据， insert into 会新增一份数据；对于add partition 不会复制数据

分区中的location可以使相对路径或者是绝对路径;不加/代表是相对路径；

四、数据插入到临时表

alter table  ${table_name}  drop if  exists  partition (dt=' $dt');
alter table  $1 add if not exists  partition (dt='$2') location '$3';

五、数据从临时表插入到外部压缩表

insert overwrite  table  ods.dim_product select * from tmp.dim_product_tmp where dt='2023-02-06';

六、删除临时表

drop table if exists  ods.dim_order;

七、hive创建hbase表的映射关系

drop table if exists   ods.dwt_user_tags_map_all;
CREATE EXTERNAL TABLE  ods.dwt_user_tags_map_all(
 user_id string comment '用户id',
 user_tags map<string,string> comment '用户标签聚合'
)COMMENT '用户标签主题表'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
map keys terminated by ':'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,tags:user_tags")
TBLPROPERTIES("hbase.table.name" = "user_tags_map_all")

和测创建HBASE表映射之后，hive表新增数据后HBASE会同时新增数据

八、hbase表创建

create ‘t20’, ‘c1’, SPLITS => [‘0000|’,‘0001|’,‘0001|’, ‘0002|’, ‘0003|’, ‘0004|’]

预分区：HBASE创建表的时候要先预分区。
1.|ascll编码中是最大的，也就是说0000开头的都会落入到这个分区
2.rowkey设计原则：唯一，16位，散列，可溯源；concat(‘000’,ceil(rand()*10)%5,substr(md5(user_id),0,12))。使用md5加随机前缀的形式散列rowkey

九、hive插入数据

insert overwrite table  ods.dwt_user_tags_map_all
select  concat('000',ceil(rand()*10)%5,substr(md5(user_id),0,12)),str_to_map(concat_ws(',',collect_set(concat_ws(':',tag_id,tag_value))))  from  ods.dws_user_action_tags_map_all  group by user_id;

十、springboot创建

https://start.aliyun.com

十一、springboot逆向工程

在这里插入图片描述
mybatis-generator:generate
mybatis-generator.xml

mybatis-generator:generate
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE generatorConfiguration PUBLIC
        "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
        "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd" >
<generatorConfiguration>

    <context id="DB2Tables" targetRuntime="MyBatis3">
        <commentGenerator>
            <property name="suppressAllComments" value="true"/>
            <property name="suppressDate" value="true"/>
        </commentGenerator>

        <jdbcConnection driverClass="com.mysql.cj.jdbc.Driver"
                        connectionURL="jdbc:mysql://ip:3306/ccm_ods?
                                        useUnicode=true&amp;
                                        characterEncoding=utf-8&amp;
                                        useSSL=true&amp;
                                        useJDBCCompliantTimezoneShift=true&amp;
                                        useLegacyDatetimeCode=false&amp;
                                        serverTimezone=Hongkong&amp;nullCatalogMeansCurrent=true"
                        userId="root"
                        password="root">
        </jdbcConnection>

        <javaTypeResolver>
            <property name="forceBigDecimals" value="false"/>
        </javaTypeResolver>

        <javaModelGenerator targetPackage="com.xf.dmp.entity" targetProject="C:\project\dmp\dmp\src\main\java">
            <property name="enableSubPackages" value="true"/>
            <property name="trimStrings" value="true"/>
        </javaModelGenerator>

        <sqlMapGenerator targetPackage="resources.mapper" targetProject="C:\project\dmp\dmp\src\main">
            <property name="enableSubPackages" value="true"/>
        </sqlMapGenerator>

        <javaClientGenerator targetPackage="com.xf.dmp.mapper" type="XMLMAPPER" targetProject="C:\project\dmp\dmp\src\main\java">
            <property name="enableSubPackages" value="true"/>
        </javaClientGenerator>

        <table domainObjectName="test1" tableName="test1" enableCountByExample="false" enableUpdateByExample="false" enableDeleteByExample="false" enableSelectByExample="false" selectByExampleQueryId="false">
<!--            <generatedKey column="id" sqlStatement="MySql" identity="true" />-->
        </table>
    </context>
</generatorConfiguration>

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.7.RELEASE</version>
    </parent>
    <groupId>com.example</groupId>
    <artifactId>dmp</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>dmp</name>
    <description>dmp</description>

    <properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <spring-boot.version>2.3.7.RELEASE</spring-boot.version>
    </properties>

    <dependencies>


        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-text</artifactId>
            <version>1.9</version>
        </dependency>

        <!--        连接数据库-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>1.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.5</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.22</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.3</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.12.0</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.10</version>
        </dependency>



    </dependencies>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-dependencies</artifactId>
                <version>${spring-boot.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
                <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
                    <plugins>
                        <plugin>
                            <groupId>org.mybatis.generator</groupId>
                            <artifactId>mybatis-generator-maven-plugin</artifactId>
                            <version>1.3.5</version>
                            <dependencies>
                                <dependency>
                                    <groupId>org.mybatis.generator</groupId>
                                    <artifactId>mybatis-generator-core</artifactId>
                                    <version>1.3.5</version>
                                </dependency>
                                <dependency>
                                    <groupId>mysql</groupId>
                                    <artifactId>mysql-connector-java</artifactId>
                                    <version>8.0.22</version>
                                </dependency>
                            </dependencies>
                            <executions>
                                <execution>
                                    <id>mybatis generator</id>
                                    <phase>package</phase>
                                    <goals>
                                        <goal>generate</goal>
                                    </goals>
                                </execution>
                            </executions>
                            <configuration>
                                <!--允许移动生成的文件-->
                                <verbose>true</verbose>
                                <!--允许自动覆盖文件-->
                                <overwrite>true</overwrite>
                                <configurationFile>
                                    src/main/resources/mybatis-generator.xml
                                </configurationFile>
                            </configuration>
                        </plugin>
                    </plugins>
                </pluginManagement>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

十二、docker部署clickhouse

1.拉取clickhouse镜像

docker pull yandex/clickhouse-server

2.启动server端

docker run -d --name clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123  yandex/clickhouse-server

3.进入容器操作数据库
进入容器

docker exec -it clickhouse-server /bin/bash

4.进入clickhouse命令行

clickhouse-client

5.显示数据库

show databases

6.选择数据库

use default

7.显示表

show tables

8.创建表

CREATE TABLE IF NOT EXISTS log_gather2
(
branch String COMMENT '分支',
ten_id Nullable(String) COMMENT '租户Id',
sys_id Nullable(String) COMMENT '系统Id'
) ENGINE = MergeTree() PARTITION BY branch 
ORDER BY (branch) 
PRIMARY KEY (branch) SETTINGS index_granularity=8192;

9.插入数据

insert into log_gather2 (branch,ten_id,sys_id) 
values('bbbb','test','1');

10.查询

select * from log_gather2

11.docker基础容器中bash: vi: command not found问题解决
在docker容器中使用如下命令安装：

apt-get update
apt-get install vim

12.远程连接授权
配置文件路径一般为/etc/clickhouse-server/config.xml，在配置文件中添加如下一行
<listen_host>::</listen_host>
在这里插入图片描述
保存后重启服务，再重新用DBeaver连接可成功

13.测试连接
在这里插入图片描述

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

居高声自远,非是藉秋风
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【ClickHouse实战】如何基于 ClickHouse Bitmap实现用户画像圈选？
禅与计算机程序设计艺术
05-16 1万+
基于 ClickHouse Bitmap 实现用户画像圈选，需要借助于 Roaring Bitmaps 进行处理。Roaring Bitmap 是一种用于存储和操作大量有序整数集合的压缩位图技术，具有高效的性能和较小的存储空间占用。ClickHouse 支持 Roaring Bitmap，通过类型存储和操作。
【用户画像】将数据迁移到ClickHouse（源码实现）、位图的介绍（bitmap）、位图在用户分群中的应用、位图的使用
weixin_43923463的博客
11-04 2306
函数arrayJoin宽表转Bitmap表需要行转列，要用arrayJoin把多列数组炸成行。把聚合列的数字值聚合成Bitmap的聚合函数bitmapAnd求两个Bitmap值的交集bitmapOr求两个Bitmap值的并集bitmapXor求两个Bitmap值的差集(异或)把Bitmap转换成数值数组把一列中多个bitmap值进行并集聚合。（连续值）求Bitmap包含的值个数更多其他函数可以参考官网。
用户画像实战应用
11-26
用户画像实战应用
【实用+干货】如何使用Clickhouse搭建百亿级用户画像平台看这一篇就够了
dsgdauigfs的博客
12-05 216
京东科技CDP画像平台通过对用户分群，针对不同的用户投放以不同形式的不同内容，实现千人千面的精准投放，最终实现用户的增长。对外提供多样的数据服务，服务于不同的业务，以支持精准营销、精细化运营，智能外呼等营销场景。随着时代的发展，离线人群已经不能满足日益增长的运营需求。从去年开始,CDP着手建设数据实时化，目前已经完全做到了人群命中实时计算。京东云技术团队。
DMP用户画像系统（SparkGraphX SparkCore SparkSQL）
weixin_34372728的博客
10-18 237
DMP用户画像系统（SparkGraphX SparkCore SparkSQL）课程观看地址：http://www.xuetuwuyou.com/course/221课程出自学途无忧网：http://www.xuetuwuyou.comDMP系统 用户画像也称人物角色，是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型，即真实用户的虚拟代表。...
【用户画像】ClickHouse简介、特点、安装和部署
weixin_43923463的博客
11-01 2889
之前数仓和画像的处理都是批处理，一般在夜间进行，花费时间很长，按照脚本和调度去完成，后来的处理称为即时处理，即时处理要求计算的时间非常之短，存放在hive中，肯定是不行的，这种需求既要求从一定的数据量中提取（如果是小数量可以从MySQL提取），同时需要速度快。这种数据库就需要在hive中和OLAP中同时存储一份，OLAP总体的设计目标就是即席查询，但是不同的数据库之间又有细微的差别，OLAP数据库有kylinprestodruidclickhouse：多用于用户画像和实时计算，速度快。
基于clickhouse做用户画像，标签圈选
Chad_it的博客
09-30 1885
clickhouse做用户画像，做标签圈选，位运算，位存储，一文搞定
Spark+ES+ClickHouse 构建DMP用户画像(2)
weixin_44090239的博客
02-14 326
Spark+ES+ClickHouse 构建DMP用户画像
ClickHouse 在十亿级用户画像平台的应用实践
SmartSi
10-28 482
当前时代，数据分析早已不再满足于传统的 T+1式报表或需要提前设置好维度与指标的 OLAP 查询，而是更希望使用可以支持任意指标、任意维度并秒级给出反馈的大数据实时查询系统。ClickHouse 的出现，满足了绝大数场景下对大数据的实时分析和查询需求。本文主要介绍了 ClickHouse 的基本概念、核心特性，以及基于 ClickHouse 构建用户画像平台的设计方案、实践经验和未来规划。如果你正在使用 ClickHouse，希望本文能够帮助到你。
【用户画像】在ClickHouse中将宽表转换为bitmap表（源码实现）、用户分群架构设计、SpringBoot概述及使用
weixin_43923463的博客
11-05 1972
Web服务（http服务），接收网页或者App应用发起的http请求，然后通过程序进行处理、计算、查询、存储等，再将结果返回给页面或App应用。平台化管理：越来越多的企业认为使用脚本管理不方便，容易出错。无论是离线还是实时数仓，更多的是将脚本变为页面，越来越多脚本中的SQL会被放到页面中。
Spark2.0+ElasticSearch开发用户画像实战笔记对应的代码、数据、脚本
06-15
博客文章： https://blog.csdn.net/lm19770429/article/details/124221123 https://blog.csdn.net/lm19770429/article/details/124981430
Spark+ES+ClickHouse 构建DMP用户画像视频教程
03-18
分享一套用户画像视频教程——Spark+ES+ClickHouse 构建DMP用户画像，已完结，共8章。 行业竞争越来越激烈，精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源，已经成为企业必备的核心...
Spark+ES+ClickHouse 构建DMP用户画像
12-22
用户画像系统
记录一个hive中因没启yarn导致的spark引擎跑insert语句的报错
yuanlaishidahuaa的博客
04-19 550
百度说是这个报错意味着Hive无法为Spark会话创建Spark客户端。可能是由于配置问题导致的。建议检查Hive配置文件中关于Spark的设置是否正确，特别是关于Spark执行引擎的配置。这次没有创建SparkClient失败是因为我的yarn没启，Spark运行需要yarn进行资源调度。再跑：hive (default)> insert into table student values(1,'abc');刚在hive中配置了Spark引擎，在进行Hive on Spark测试时报错，
Spark原理之Cache Table的工作原理及实现自动缓存重复表的思考
最新发布
Dreamming Time的博客
04-26 263
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
实战干货｜Spark 在袋鼠云数栈的深度探索与实践
a958014226的博客
04-26 334
Spark3.2 之前，AQE 默认是关闭的，需要通过将 spark.sql.adaptive.enabled 设置为 true，才能开启 AQE。Spark3.2 之后，AQE 默认是开启的，任务在运行过程中只要满足 AQE 的触发条件，即可享受 AQE 带来的优化。需要注意的是，AQE 的优化只会发生在 shuffle 阶段，如果 SQL 在运行过程中并没有涉及到 shuffle 操作，那么即使 spark.sql.adaptive.enabled 的值为 true，AQE 也不会发挥作用。
【数仓】数仓建模理论及步骤，ER建模，维度建模，星形模型，雪花模型，数据分层
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
04-18 929
数据仓库是一个面向主题、集成的、非易失的且随时间变化的数据集合。它主要用于组织、积累历史数据，并使用分析方法（如OLAP、数据分析）进行分析整理，以辅助决策，为管理者、企业系统提供数据支持、构建商业智能。 数据仓库的特点包括面向主题性、集成性、非易失性和时变性。 数仓建模的目标是在性能、成本、效率和数据质量之间找到最佳平衡点
stm32+mpu6050姿态角解算+dmp
03-07
STM32是一款由意法半导体（STMicroelectronics）推出的32位单片机系列，而MPU6050是一款由英飞凌（InvenSense）推出的六轴惯性测量单元（IMU）。姿态角解算是指通过传感器获取的数据计算出物体的姿态角度，而DMP（Digital Motion Processor）是指MPU6050内部的数字运动处理器，可以实现硬件加速的姿态角解算。 在STM32与MPU6050结合使用时，可以通过I2C总线进行通信，读取MPU6050的加速度和陀螺仪数据。然后，可以使用姿态角解算算法，如卡尔曼滤波、四元数等，对这些数据进行处理，计算出物体的姿态角度。 DMP是MPU6050内部的一个功能模块，它可以通过硬件加速的方式实现姿态角解算。使用DMP可以简化软件开发过程，减少对处理器的负载，并提供更准确的姿态角度数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

居高声自远,非是藉秋风

千山万水总是情，赏个一块行不行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值