项目经验:
Hadoop 四个插哨
hdfs参数调优:
NameNode有一个工作线程池,用来处理datanode的心跳
yarn优化
(1)单个任务的最大物理内存8G
(2)yarn上可使用的内存总量:8G
HDFS空盘闲置率在70%之下
Flume优化:
Flume的内存配置为4G(flume-env.sh)
FileChannel优化:
配置多路径,增大Flume的吞吐量
checkpointDir和backupCheckpointDir也尽量配置在不同硬盘对应的目录中
保证checkpoint坏掉后,可以快速使用backupCheckpointDir恢复数据
Sink小文件处理:
hdfs.rollInterval、hdfs.rollSize、hdfs.rollCount
ODS采用的压缩格式
snappy+orc 压缩比1:10左右
dwd层:
数据清洗
(1)空值去除
(2)核心字段无意义的数据
(3)敏感信息脱敏
(4)业务数据进行维度退化和降维
(5)用户行为和业务表进行数据一致性处理
分析过哪些指标(一分钟至少说出30个指标)
1 离线指标
网站流量指标 独立访问数UV 页面访客数PV
流量质量指标类 跳出率 平均页面访问时长 人均页面访问数
2 购物车类指标 加入购物车次数 加入购物车买家次数 加入购物车商品数
购物车支付转化率
3 下单类指标 下单笔数 下单金额