Pandas的SettingWithCopyWarning原因及解决方法

利用pandas进行数据分析的时候，会遇到SettingWithCopyWarning的警告。
外文的一篇翻译和pandas的官方文档indexing-view-versus-copy将出现这种警告的原因分析的十分清楚。这里总结记录一下。

重要概念

view vs. copy

用numpy演示一下：

import numpy as np
a = np.arange(12).reshape((3,4))
b = a.view()
c = a.copy()
print('a:',a,'\n','b:',b,'\n c:',c)
b[1,1] = -1
c[2,2] = -1
print('修改后：\n','a:',a,'\n','b:',b,'\n c:',c)

结果为：

a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]] 
 b: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]] 
 c: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
修改后：
 a: [[ 0  1  2  3]
 [ 4 -1  6  7]
 [ 8  9 10 11]] 
 b: [[ 0  1  2  3]
 [ 4 -1  6  7]
 [ 8  9 10 11]] 
 c: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 -1 11]]

通过结果可以看出来，修改视图，原数组也随之改变；修改副本，原数组不会改变。

get vs set

get 和set方法就是获取与赋值。关键在于pandas中get返回的结果，到底是view还是copy，除非特别指明，否则取决于内存的数据结构。正是这个问题导致的链式赋值问题。

dfmi.loc[:,('one','second')] = value
# becomes
dfmi.loc.__setitem__((slice(None), ('one', 'second')), value)

dfmi['one']['second'] = value
# becomes
dfmi.__getitem__('one').__setitem__('second', value)

这两个例子对比一下就比较清楚了。

实例1

处理如下一张表。

1. 筛选表名为‘table1’的行；
2. 将‘修改后名称’这样一行中的空值，用’数据库字段名’进行填充。
   
   代码如下：

## 读入数据
pd_struct = pd.read_csv('学生表.csv')
## 按表名筛选
pd_struct_1 = pd_struct.loc[pd_struct['表名']=='table1']
## do something else.
## 填充
pd_struct_1.loc[pd_struct_1['修改后的名称'].isna(),'修改后的名称'] = \
        pd_struct_1.loc[pd_struct_1['修改后的名称'].isna(),'数据库字段名']

运行就会报出如下信息：

就是因为链式引用，导致存在隐患。这时候，就需要指明，在第一次索引的时候，是生成一份copy，这样就不会报Warning了。
修改如下：

## 读入数据
pd_struct = pd.read_csv('学生表.csv')
## 按表名筛选
pd_struct_1 = pd_struct.loc[pd_struct['表名']=='table1'].copy() ### 指定为copy！！！
## do something else.
## 填充
pd_struct_1.loc[pd_struct_1['修改后的名称'].isna(),'修改后的名称'] = \
        pd_struct_1.loc[pd_struct_1['修改后的名称'].isna(),'数据库字段名']

结果就干干净净啦！

实例2

list_no = [1,2,3,4]
## 生成一个两个字段的DF
pdt = pd.DataFrame(np.random.randint(1,100,[50,2]),columns=['no_opt','name_opt'])
## 筛选出部分数据，这时候，进行了一次get
pdt1 = pdt.loc[pdt['name_opt']>50]
## 如果再对这些数据进行赋值，就会报
## ipykernel_launcher.py:4: SettingWithCopyWarning: 
## A value is trying to be set on a copy of a slice from a DataFrame.
pdt1['is_flag']=pdt1['no_opt'].map(lambda a: 1 if a in list_no else 0)

改为：

list_no = [1,2,3,4]
pdt = pd.DataFrame(np.random.randint(1,100,[50,2]),columns=['no_opt','name_opt'])
## 指明get后复制
pdt1 = pdt.loc[pdt['name_opt']>50].copy()
pdt1['is_flag']=pdt1['no_opt'].map(lambda a: 1 if a in list_no else 0)

完美！