项目学习01--用户画像

1.赛题解读

预测目标（中国移动信用解释）

2.数据探索分析（EDA）

2.1数据基本情况：缺失值，各字段数据类型、数值型字段的统计分布

年龄为0，可能是主办方对缺失值数据填充，年龄大于100可能是异常数据

2.2观察变量的密度曲线（观察特征分布，为特征工程做准备）

• 大部分的用户近六个月的消费值在200以内，左偏
  
  
• 个别的点可以被当作是异常值进行处理，避免过拟合，或者训练和测试不是同分布等情况

2.3 类别型特征中不同取值下，目标变量的分布

• 可以预见预测中一些边界值，在测试集中如果出现超过边界值的数据就可能出现预测不准确的情况
• 看特征的区分度，是否可以作为一个有效的特征变量
• 数据分布的形状，由此得到初步的分析概况
  
  
  
• 看电影和不看电影的分布大致相同

2.4顺序性的数值型字段和目标变量的相关关系

2.5对数据做基本处理，再次观察单变量相关关系

• 问题1：如何根据数据的分布进行数据处理？
  
• 长尾分布数据：做对数变换
  
• 新构建特征
  
• 简单预处理后，相关性变大

2.6 所有连续变量之间两两相关关系

• 通过判断变量之间的相关性，去掉冗余的特征

3.特征工程

• 用特征相乘作为一种特征组合
• 连续特征离散化（等方，等频），特征密度变粗，解决过拟合现象
  
  
• 年龄特征值填充（众数比平均数要好）
• 左偏或右偏数据做对数化处理
  
• 特征组合方法

数据挖掘：挖掘关系和规则

• 暴力挖掘
• 业务思考

4.模型的建立及参数调整（回归任务和结构化数据）

• 长尾分布，建议使用线性模型，或者神经网络（现在分布较为集中，可以使用LGB，XGBOOST等树模型），做特征融合可以考虑其他模型
  
  
  
  
• 正则化参数L1和L2，以及列采用非常敏感
• 学习率建议选小，样本小，跑得快；如果样本大，考虑到数据时间代价，可以加大学习率，或者减小迭代次数
  视频链接：https://www.bilibili.com/video/av42186520
  竞赛网址：https://www.datafountain.cn/competitions/337/details

分类或者回归的调参方法

我是一个正在数据分析路上的小白，这是别人分析的一个视频整理的资料