天池龙珠训练营Docker task2基础知识学习笔记

1、学习知识点概要：学习如何对数据集整体概况进行分析，包括数据集的基本情况

 

2、学习内容：（1）了解数据集大小，原始特征维度；

（2）查看数据缺失值情查看唯一值特征情况；

（3）特征和特征之间关系，特征与目标变量之间关系

 

3、学习笔记：代码示例步骤：（1）导入数据分析及可视化过程需要的库

使用pip install已安装好的库，

（2）读取文件（读取文件的拓展知识）

了解TSV与CSV的区别：

（3）查看数据集的样本个数和原始特征维度

（4）查看数据集中特征缺失值，唯一值等

要熟练的记忆与使用具体的查看缺失特征及缺失率

查看训练集测试集中特征属性只有一值的特征

（5）查看特征的数值类型有哪些，对象类型有哪些

区分类别型特征和数值型特征，连续型和离散型等关系。

（6）分析数值连续型变量

分析是否符合正态分布，不符合则分析log后是否符合正态分布

（7）变量分布可视化

（8）灵活pandas_profiling生成数据报告

 

4、学习思考与总结：多多记忆学到的专业名词，能够熟练的分析表格。数据探索性分析是我们学习的起步阶段，可能比较苦难，但只要努力学，终会掌握这一门技术的。