pandas链式操作与SettingWithCopyWarning详解

1.SettingWithCopyWarning问题

SettingWithCopyWarning是pandas中一个经典问题，也是pandas库中位数不多的坑之一。关于这个问题，我们先看下面的一个例子。

import pandas as pd


def t1():
    data = {
        'name': ['a', 'b', 'c', 'd', 'e', 'f'],
        'num': [1, 2, 3, 4, 5, 6],
        'ss': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]
    }
    df = pd.DataFrame(data)
    print(df, "\n")
    df[df['name'] == 'a']['num'] = 10
    print(df)

上面的代码本意，是想将df中name为’a’的行中，num赋值为10。我们看一下代码运行的结果：

  name  num   ss
0    a    1  0.1
1    b    2  0.2
2    c    3  0.3
3    d    4  0.4
4    e    5  0.5
5    f    6  0.6 

/Users/wanglei/wanglei/code/python/finance-trade/p2/DfCopyCode.py:19: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  df[df['name'] == 'a']['num'] = 10
  name  num   ss
0    a    1  0.1
1    b    2  0.2
2    c    3  0.3
3    d    4  0.4
4    e    5  0.5
5    f    6  0.6

首先代码给出了SettingWithCopyWarning的告警。注意是Warning，而不是Error。
然后我们观察输出，发现赋值并没有起到预期的效果，df的值没有发生变化。

具体原因在哪里？
要了解 SettingWithCopyWarning，首先要知道，Pandas 中的某些操作会返回数据的视图（View），某些操作会返回数据的副本（Copy）。

如上所示，左侧的视图 df2 只是原始数据 df1 一个子集，而右侧的副本创建了一个新的对象 df2。

当我们尝试对数据集进行更改时，这可能会出现问题：

根据需求，我们可能想要修改原始 df1（左），也可能想要修改 df2（右）。警告提醒我们，代码可能并没有符合需求，修改到的可能并不是我们想要修改的那个数据集。
(该部分图文来自参考文献1)

如何解决上面的问题？其实在SettingWithCopyWarning中已经给出了答案，使用loc。

def t2():
    data = {
        'name': ['a', 'b', 'c', 'd', 'e', 'f'],
        'num': [1, 2, 3, 4, 5, 6],
        'ss': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]
    }
    df = pd.DataFrame(data)
    df.loc[df['name'] == 'a', 'num'] = 10
    print(df)

上面方法的输出为

  name  num   ss
0    a   10  0.1
1    b    2  0.2
2    c    3  0.3
3    d    4  0.4
4    e    5  0.5
5    f    6  0.6

这样就达到了我们预期的目的。

为什么loc方法能保证达到预期？具体可以查阅参考文献1，解释得非常清楚详细。

2.跨行的SettingWithCopyWarning问题

下面我们再来看一个例子

def t3():
    data = {
        'name': ['a', 'b', 'c', 'd', 'e', 'f'],
        'num': [1, 2, 3, 4, 5, 6],
        'ss': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]
    }
    df = pd.DataFrame(data)
    subdf = df.loc[df.num <= 3]
    print(subdf)

    subdf.loc[subdf['name'] == 'a', 'num'] = 10
    print(subdf)

上面代码的输出为

  name  num   ss
0    a    1  0.1
1    b    2  0.2
2    c    3  0.3
/Users/wanglei/anaconda3/anaconda3/lib/python3.7/site-packages/pandas/core/indexing.py:965: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self.obj[item] = s
  name  num   ss
0    a   10  0.1
1    b    2  0.2
2    c    3  0.3

我们看赋值已经成功了，subdf已经进行了改变，也使用了loc的方式进行复制，为什么还会有SettingWithCopyWarning告警呢？
链式索引可能在一行代码内发生，也可能跨越两行代码。因为subdf变量是作为 Get 操作的输出创建的，它可能是原始 DataFrame 的副本，也可能不是，除非检查，否则我们不能确认。对subdf进行索引时，实际上使用的就是链式索引。

这种情况下的警告解决方案是：创建新 DataFrame 时明确告知 Pandas 创建一个副本 (来自参考文献1)

def t4():
    data = {
        'name': ['a', 'b', 'c', 'd', 'e', 'f'],
        'num': [1, 2, 3, 4, 5, 6],
        'ss': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]
    }
    df = pd.DataFrame(data)
    subdf = df.loc[df.num <= 3].copy()
    print(subdf)

    subdf.loc[subdf['name'] == 'a', 'num'] = 10
    print(subdf)

代码的输出为：

  name  num   ss
0    a    1  0.1
1    b    2  0.2
2    c    3  0.3
  name  num   ss
0    a   10  0.1
1    b    2  0.2
2    c    3  0.3

这种情况下，使用copy方法，明确告诉是创建的新副本即可。

有关SettingWithCopyWarning的问题，参考文献1中解释得非常详细，强烈建议仔细阅读！

参考文献：
1.https://zhuanlan.zhihu.com/p/41202576