涛哥大数据小屋

1 整体架构前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan技术架构示意图2 涉及技术Flink 实时流式计算王者引擎Canal 数据库实时采集Kafka 分布式消息缓存系统R

项目简介项目gitee地址： https://gitee.com/hunter_d/yinew_marketing.git1.1背景介绍易牛鹰眼FLINK动态规则实时智能运营系统，是基于用户行为洞察的一站式智能运营平台；集活动创建、执行、管理、反馈、迭代为一体，能够通过用户行为、属性、标签等数据筛选受众，实现目标人群的精准触达，提升关键指标和运营效率。1.2系统功能精细化营销闭环方案活动策略制定每天都想策划行之有效的运营活动？在易牛实时智能运营上您可以灵活创建活动计划，制定活动目标

前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan列位看官，为了能够更好地理解后续《动态规则版实时运营系统》的设计思想和代码实现，我们先来开发一个简化版且没有动态规则功能的实时运营系统；

画像标签体系用户基本属性标签用户订单属性标签用户退换货属性标签用户购物车属性标签用户活跃属性标签用户偏好属性标签用户基本属性标签用户属性指标主要根据业务数据来源（业务系统中的用户信息）尽可能全面地描述用户基础属性这些基础属性值是短期内不会有改变的，如年龄、性别、手机号归属地、身份证归属地等字段类型定义备注user_idbigint用户编码login_namestring登录名称user_namestring用户姓名

列位看官，为了能够更好地理解后续《动态规则版实时运营系统》的设计思想和代码实现，我们先来开发一个简化版且没有动态规则功能的实时运营系统；需求示例示例一公司最近有一个商务休闲服装品牌的商家&平台联合促销活动，在3.25-4.25期间，只要购买该品牌的服装，则都可以使用一个50元的代金券；市场运营人员不想把优惠券无差别地发放给平台所有用户，而是想把优惠券尽可能发给有可能产生购买行为的用户；因此，市场部定义了一个发放优惠券的促销规则：规则触发行为条件：用户浏览男装商品受众画像属性条件：

前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan兵马未动，粮草先行巧妇难为无米之炊，本运营系统的开发，离不开用户行为的数据记录；各类网站、app等互联网产品上，用户的行为记录数据，往往

1概要说明业务域的数据来自业务系统的数据库通过sqoop（或datax）抽取到数仓的ods层在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表在明细层基础上，进行各类主题的数据统计、分析课程中，主要分析的主题有：交易域分析营销域分析会员域分析物流域分析仓储域分析供应域分析…什么是业务系统：公司向用户提供业务功能的系统，比如京东：京东商城！头条：头条网站这一类系统，通常都是web系统，简单来说，分为：界面（浏览器网页）+后端（web服务）+存储（

1DW层整体设计建模思想：DWD：放明细数据DWS：数仓服务层；它的建模思想，就是为最终需求计算来提供支持服务，所以建模相对灵活常见的建模套路有：1.建大宽表（对应：维度建模思想中的维度退化）2.轻度聚合3.看具体需求（如，用户连续活跃区间记录表）1.1技术选型概述存储：HDFS运算：HIVE/SPARK1.2输入输出数仓内部输入dwd层事实表及dim层维度表输出dws层聚合表1.3主题模型举例流量会话聚合天/月表日新日活维度聚合表事件会话聚合

1数仓整体说明什么数仓：一个面向分析的，反映历史变化的数据仓库；数仓的技术手段：1)传统数仓一般都是采用关系型数据库软件；2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节：使用HDFS做存储使用 spark、mapreduce 作为底层计算引擎使用hive或者sparksql，作为sql引擎另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件1.1技术选型数据采集：flume存储平台：hdfs基础设施：hiv

【1】需求分析及概要设计篇1学习要求每日总结当天内容需求是什么解决需求的方案是什么具体实现逻辑是什么开发过程中有遇到哪些问题2项目背景某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万用户，以及三四百万的日活量，app的业务功能和产品种类、数量也急速膨胀；随着规模的增长，逐渐凸显出大量的问题：营销分析断层：市场营销成本居高不下，投放拉新的效果追踪出现断层，无法追踪各渠道实际转化率，难以准确分析 ROI。产品迭代无法量化：缺少实时的用