大数据面试要点3

项目经验：

Hadoop 四个插哨

hdfs参数调优：
NameNode有一个工作线程池，用来处理datanode的心跳

yarn优化
（1）单个任务的最大物理内存8G
（2）yarn上可使用的内存总量：8G
HDFS空盘闲置率在70%之下

Flume优化：
Flume的内存配置为4G(flume-env.sh)
FileChannel优化：
配置多路径，增大Flume的吞吐量
checkpointDir和backupCheckpointDir也尽量配置在不同硬盘对应的目录中
保证checkpoint坏掉后，可以快速使用backupCheckpointDir恢复数据

Sink小文件处理：
hdfs.rollInterval、hdfs.rollSize、hdfs.rollCount

ODS采用的压缩格式
snappy+orc 压缩比1：10左右

dwd层：
数据清洗
（1）空值去除
（2）核心字段无意义的数据
（3）敏感信息脱敏
（4）业务数据进行维度退化和降维
（5）用户行为和业务表进行数据一致性处理

分析过哪些指标（一分钟至少说出30个指标）
1 离线指标
网站流量指标 独立访问数UV 页面访客数PV
流量质量指标类 跳出率 平均页面访问时长 人均页面访问数
2 购物车类指标 加入购物车次数 加入购物车买家次数 加入购物车商品数
购物车支付转化率
3 下单类指标 下单笔数 下单金额