python数据化分析与数据化运营_Python数据分析与数据化运营

3.样本分类不均衡：不同类别的样本差别很大

解决方法：过抽样、欠抽样、惩罚权重（与样本数量呈反比的权重）、组成/集成方法（从大样本中随机抽取数据来与小样本合并）

5.多重共线性：输入的自变量之间存在较高的线性相关度，造成回归模型的稳定性和准确性大大降低；

如何检验共线性：方差膨胀因子（VIF）：VIF<10不存在；10

6.解决共线性：增大样本量n；岭回归；逐步回归法；主成分回归；人工去除。

7.因果&相关：相关是逻辑上的并列相关关系，因果联系是因为X1所以X2的逻辑关系

8.数据标准化：Z-Score：x'=(x-men(x))/std；归一化x'=(x-min)/(max-min)；稀疏矩阵x'=x/[max] ‘所载列的最大值’

9.离散化：将无限空间中的有限个体映射到有限的空间中

针对连续数据的离散化：分位数法：四分位数、五分位数 ；距离区间法：等距区间或自定义区间 ；频率区间法：将数据按照不同数据的频率分布排序 ，聚类法：K值聚类

11.防止过拟合：使用更多数据、降维、使用正则化（通过定义不同特征的参数保证每个特征有一定的效用）

12.Python工作库有三种类型：分别是Python内置标准库（Python自带库，如re、string、datetime）、第三方库（第三方主体开发的流行库，如Sklearn、Numpy、Pandas）和自定义库（本地的相关程序，一般是自定义的功能模块）

13.17个新手常见Python运行时错误17个新手常见Python运行时错误 - 51CTO.COM​developer.51cto.com

14.当.py文件被直接运行时，if __name__ == '__main__'之下的代码块将被运行；当.py文件以模块形式被导入时，if __name__ == '__main__'之下的代码块不被运行。如何简单地理解Python中的if __name__ == '__main__'​blog.csdn.net

16.

18.python缺失值有3种：

1）Python内置的None值

2）在pandas中，将缺失值表示为NA，表示不可用not available

3）对于数值数据，pandas使用浮点值NaN（Not a Number）表示缺失数据

None是Python的一种数据类型，NaN是浮点类型两个都用作空值

19.

20. merge：通过相同的列当做键

concat：默认按行将DataFrame组合到一起，若要按列axis=1

23.路径和文件名中不要用中文，不然会报错

在用pandas.read_csv()读取csv时，遇到 ‘utf-8’ codec can’t decode byte 0xba in position 0: invalid start byte 但是又必须要中文解码，解决办法是设置read_csv中encoding = ‘GB2312’。

encoding用于指定文件的编码，因为读取的csv中有中文，所以指定文件编码为中文编码“GBK”

data = pd.read_csv('C:\\houzi\\test\\data.csv', encoding = 'GBK')

data.head()