电商常识
The Great Ant
做一个功成名就的人
展开
-
2021-05-25
并发峰值多少?大概哪个时间点? 高峰期晚上7-12点。Kafka里面20m/s 2万/s 并发峰值在1-2万人原创 2021-05-25 22:01:07 · 37 阅读 · 0 评论 -
2021-05-25
活动的话,数据量会增加多少?怎么解决? 日活增加50%,GMV增加多少。(留转G复活)情人节,促销手纸。 集群资源都留有预量。11.11,6.18,数据量过大,提前动态增加服务器。原创 2021-05-25 21:59:55 · 122 阅读 · 0 评论 -
2021-05-24
即席查询数据仓库 Kylin: T+1 Impala: CDH Presto: Apache版本框架原创 2021-05-24 22:03:18 · 35 阅读 · 0 评论 -
2021-05-24
数据仓库每天跑多少张表,大概什么时候运行,运行多久? 基本一个项目建一个库,表格个数为初始的原始数据表格加上统计结果表格的总数。(一般70-100张表格) 用户行为5张;业务数据23张表 =》ods 24 =》dwd=>20张=》dws 6张宽表=>dwt6张宽表=>ads=》30张 =》86张 每天0:30开始运行。=》sqoop 40-50分钟:1点20:=》 5-6个小时运行完指标 所有离线数据报表控制在8小时之内 大数据实时处理部分控制在5分钟之内。(分钟级别、秒级别) 如果是实原创 2021-05-24 22:01:14 · 75 阅读 · 0 评论 -
2021-05-23
拉链表(重点) 拉链表处理的业务场景:主要处理缓慢变化维的业务场景。(用户表、订单表)原创 2021-05-23 20:55:41 · 39 阅读 · 0 评论 -
2021-05-23
数据模型 雪花模型、星型模型和星座模型 (在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。) 星型模型(一级维度表),雪花(多级维度),星座模型(星型模型+多个事实表) ...原创 2021-05-23 20:54:49 · 35 阅读 · 0 评论 -
2021-05-21
关系型数据库范式理论 1NF:属性不可再分割(例如不能存在5台电脑的属性,坏处:表都没法用) 2NF:不能存在部分函数依赖(例如主键(学号+课名)–>成绩,姓名,但学号–>姓名,所以姓名部分依赖于主键(学号+课名),所以要去除,坏处:数据冗余) 3NF:不能存在传递函数依赖(学号–>宿舍种类–>价钱,坏处:数据冗余和增删异常) MySQL关系模型:关系模型主要应用与OLTP系统中,为了保证数据的一致性以及避免冗余,所以大部分业务系统的表都是遵循第三范式的。 Hive 维度模型:维度模原创 2021-05-21 22:03:45 · 47 阅读 · 0 评论 -
2021-05-21
同步策略(重点) 实体表,维度表统称维度表,每日全量或者每月(更长时间)全量 事务型事实表:每日增量 周期性事实表:拉链表原创 2021-05-21 22:03:22 · 37 阅读 · 0 评论 -
2021-05-20
维度表和事实表(重点) 1.维度表 维度表:一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。 例如:用户、商品、日期、地区等。 2.事实表 事实表中的每行数据代表一个业务事件(下单、支付、退款、评价等)。“事实”这个术语表示的是业务事件的度量值(可统计次数、个数、件数、金额等),例如,订单事件中的下单金额。 每一个事实表的行包括:具有可加性的数值型的度量值、与维表相连接的外键、通常具有两个和两个以上的外键、外键之间表示维表之间多对多的关系。 1)事务型事实表 以每个事务或事件为单位原创 2021-05-20 22:12:40 · 66 阅读 · 0 评论 -
2021-05-20
电商业务流程 1)记住表与表之间的关系 2)每个表记住2-3个字段原创 2021-05-20 22:11:35 · 48 阅读 · 0 评论 -
2021-05-19
埋点行为数据基本格式(基本字段) 我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据和错误数据。 1.页面 页面数据主要记录一个页 面的用户访问情况,包括访问时间、停留时间、页面路径等信息。 所有页面id如下 home("首页"), category("分类页"), discovery("发现页"), top_n("热门排行"), favor("收藏页"), search("搜索页"), good_list("商品列表页"), good_detail("商品详情"),原创 2021-05-19 22:01:04 · 198 阅读 · 0 评论 -
2021-05-19
埋点数据日志格式 我们的日志结构大致可分为两类,一是:普通页面埋点日志,二是:启动日志。 普通页面日志结构如下,每条日志包含了,当前页面的页面信息,所有事件(动作)、所有曝光信息以及错误信息。除此之外,还包含了一系列公共信息,包括设备信息,地理位置,应用信息等,即下边的common字段。 { "common": { -- 公共信息 "ar": "230000", -- 地区编码 "ba": "iPhone",原创 2021-05-19 21:59:16 · 70 阅读 · 0 评论 -
2021-05-18
电商常识 SKU和SPU SKU:一台银色、128G内存的、支持联通网络的iPhoneX SPU:iPhoneX Tm_id:品牌Id苹果,包括IPHONE,耳机,mac等 订单表跟订单详情表区别? 订单表的订单状态会变化,订单详情表不会,因为没有订单状态。 订单表记录user_id,订单id订单编号,订单的总金额order_status,支付方式,订单状态等。 订单详情表记录user_id,商品sku_id ,具体的商品信息(商品名称sku_name,价格o原创 2021-05-18 22:06:35 · 65 阅读 · 0 评论