![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
电商常识
The Great Ant
做一个功成名就的人
展开
-
2021-05-25
并发峰值多少?大概哪个时间点? 高峰期晚上7-12点。Kafka里面20m/s 2万/s 并发峰值在1-2万人原创 2021-05-25 22:01:07 · 44 阅读 · 0 评论 -
2021-05-25
活动的话,数据量会增加多少?怎么解决?日活增加50%,GMV增加多少。(留转G复活)情人节,促销手纸。集群资源都留有预量。11.11,6.18,数据量过大,提前动态增加服务器。原创 2021-05-25 21:59:55 · 129 阅读 · 0 评论 -
2021-05-24
即席查询数据仓库Kylin: T+1Impala: CDHPresto: Apache版本框架原创 2021-05-24 22:03:18 · 42 阅读 · 0 评论 -
2021-05-24
数据仓库每天跑多少张表,大概什么时候运行,运行多久?基本一个项目建一个库,表格个数为初始的原始数据表格加上统计结果表格的总数。(一般70-100张表格)用户行为5张;业务数据23张表 =》ods 24 =》dwd=>20张=》dws 6张宽表=>dwt6张宽表=>ads=》30张 =》86张每天0:30开始运行。=》sqoop 40-50分钟:1点20:=》 5-6个小时运行完指标所有离线数据报表控制在8小时之内大数据实时处理部分控制在5分钟之内。(分钟级别、秒级别)如果是实原创 2021-05-24 22:01:14 · 84 阅读 · 0 评论 -
2021-05-23
拉链表(重点)拉链表处理的业务场景:主要处理缓慢变化维的业务场景。(用户表、订单表)原创 2021-05-23 20:55:41 · 49 阅读 · 0 评论 -
2021-05-23
数据模型雪花模型、星型模型和星座模型(在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。)星型模型(一级维度表),雪花(多级维度),星座模型(星型模型+多个事实表)...原创 2021-05-23 20:54:49 · 39 阅读 · 0 评论 -
2021-05-21
关系型数据库范式理论1NF:属性不可再分割(例如不能存在5台电脑的属性,坏处:表都没法用)2NF:不能存在部分函数依赖(例如主键(学号+课名)–>成绩,姓名,但学号–>姓名,所以姓名部分依赖于主键(学号+课名),所以要去除,坏处:数据冗余)3NF:不能存在传递函数依赖(学号–>宿舍种类–>价钱,坏处:数据冗余和增删异常)MySQL关系模型:关系模型主要应用与OLTP系统中,为了保证数据的一致性以及避免冗余,所以大部分业务系统的表都是遵循第三范式的。Hive 维度模型:维度模原创 2021-05-21 22:03:45 · 57 阅读 · 0 评论 -
2021-05-21
同步策略(重点)实体表,维度表统称维度表,每日全量或者每月(更长时间)全量事务型事实表:每日增量周期性事实表:拉链表原创 2021-05-21 22:03:22 · 43 阅读 · 0 评论 -
2021-05-20
维度表和事实表(重点)1.维度表维度表:一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。 例如:用户、商品、日期、地区等。2.事实表事实表中的每行数据代表一个业务事件(下单、支付、退款、评价等)。“事实”这个术语表示的是业务事件的度量值(可统计次数、个数、件数、金额等),例如,订单事件中的下单金额。每一个事实表的行包括:具有可加性的数值型的度量值、与维表相连接的外键、通常具有两个和两个以上的外键、外键之间表示维表之间多对多的关系。1)事务型事实表以每个事务或事件为单位原创 2021-05-20 22:12:40 · 72 阅读 · 0 评论 -
2021-05-20
电商业务流程1)记住表与表之间的关系2)每个表记住2-3个字段原创 2021-05-20 22:11:35 · 53 阅读 · 0 评论 -
2021-05-19
埋点行为数据基本格式(基本字段)我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据和错误数据。1.页面页面数据主要记录一个页 面的用户访问情况,包括访问时间、停留时间、页面路径等信息。所有页面id如下home("首页"),category("分类页"),discovery("发现页"),top_n("热门排行"),favor("收藏页"),search("搜索页"),good_list("商品列表页"),good_detail("商品详情"),原创 2021-05-19 22:01:04 · 214 阅读 · 0 评论 -
2021-05-19
埋点数据日志格式我们的日志结构大致可分为两类,一是:普通页面埋点日志,二是:启动日志。普通页面日志结构如下,每条日志包含了,当前页面的页面信息,所有事件(动作)、所有曝光信息以及错误信息。除此之外,还包含了一系列公共信息,包括设备信息,地理位置,应用信息等,即下边的common字段。{ "common": { -- 公共信息 "ar": "230000", -- 地区编码 "ba": "iPhone",原创 2021-05-19 21:59:16 · 86 阅读 · 0 评论 -
2021-05-18
电商常识SKU和SPUSKU:一台银色、128G内存的、支持联通网络的iPhoneXSPU:iPhoneXTm_id:品牌Id苹果,包括IPHONE,耳机,mac等订单表跟订单详情表区别? 订单表的订单状态会变化,订单详情表不会,因为没有订单状态。 订单表记录user_id,订单id订单编号,订单的总金额order_status,支付方式,订单状态等。 订单详情表记录user_id,商品sku_id ,具体的商品信息(商品名称sku_name,价格o原创 2021-05-18 22:06:35 · 74 阅读 · 0 评论