Pandas能处理缺失数据？新手如何清洗股票数据？

Pandas能处理缺失数据？新手如何清洗股票数据？

当K线图上突然出现断层

刚入市那会儿，我最怕看到K线图上突然出现一段空白。有次发现某只股票连续三天的成交量显示为"NaN"，还以为自己发现了什么惊天大秘密，兴冲冲准备满仓杀入。幸好当时带我的老交易员及时拦住："小伙子，这不是停牌，是你的数据出问题了。"

后来才知道，股票数据缺失就像炒菜时突然发现没盐了一样常见。可能是网络中断、交易所系统维护，甚至是数据供应商的接口抽风。但如果你连数据都洗不干净，再厉害的交易策略也是白搭。

为什么你的回测结果总是不准

我见过太多新手犯同一个错误：拿到股票数据直接扔进模型跑回测，结果亏得怀疑人生。有个客户曾经拿着年化300%的策略来找我开户，我一看代码就笑了——他用的数据里，所有停牌日的价格都被简单填充为前一天收盘价。

"你知道这意味着什么吗？"我问他，"你的模型以为停牌期间可以随意买卖，实际上你的资金会被锁死，遇到连续跌停根本跑不掉。"他这才恍然大悟。

Pandas的fillna()不是万金油

很多教程一提到缺失值处理，就教你用fillna()向前或向后填充。但股票数据哪有这么简单？

# 新手常见错误示范
df['close'].fillna(method='ffill', inplace=True)

这种粗暴处理会带来三个致命问题：

1. 停牌期间的价格被错误延续
2. 除权除息日的缺口被强行缝合
3. 真实的市场流动性被完全忽略

去年就有个客户因此吃了大亏——他用填充后的数据做套利策略，实际交易时才发现停牌股根本买不进去，白白错过对冲时机。

股票数据清洗的正确姿势

第一步：区分不同类型的缺失值

不是所有NaN都一个性质。我通常先把缺失值分成三类：

1. 交易日的正常缺失：比如早盘涨停导致成交量缺失
2. 非交易日的自然缺失：周末、节假日
3. 异常缺失：本应存在但丢失的数据

# 标记非交易日
trading_days = get_trading_days()  # 从交易所获取官方交易日历
df['is_trading_day'] = df.index.isin(trading_days)

第二步：价格数据的特殊处理

价格数据最忌讳随意填充。我的原则是：

• 开盘价/收盘价：停牌日保持NaN
• 最高价/最低价：若当日无交易，设为收盘价
• 成交量/成交额：停牌日明确设为0

# 专业做法示例
df['volume'] = df['volume'].fillna(0)  # 停牌日成交量为0
df['high'] = df.apply(
    lambda x: x['close'] if pd.isna(x['high']) else x['high'], 
    axis=1
)

第三步：处理除权除息缺口

这是最容易出错的地方。去年帮一个客户排查策略问题时，发现他的收益率计算完全没考虑分红送股。正确的做法是使用后复权价格，或者在原始数据中明确标记除权日：

# 添加除权除息标记
df['ex_dividend'] = df['dividend'] > 0  # 假设有股息字段

你可能不知道的Pandas高级技巧

用插值法处理盘中缺失

对于分钟级数据，简单的向前填充会导致"僵尸价格"。这时可以用时间加权插值：

df['close'] = df['close'].interpolate(
    method='time', 
    limit_area='inside'  # 只在交易时段内插值
)

处理涨跌停板的特殊场景

涨停时最高价=收盘价，跌停时最低价=收盘价。但很多数据源不会明确标记涨跌停状态，可以自己推导：

df['limit_up'] = (df['close'] == df['high']) & (df['close'] != df['low'])
df['limit_down'] = (df['close'] == df['low']) & (df['close'] != df['high'])

为什么专业交易员都重视数据质量

上个月有个案例很典型：某私募用错误处理的ST股票数据跑策略，回测显示年化60%，实盘却亏了15%。后来发现他们的数据没有正确标记ST期间的涨跌幅限制，导致模拟交易时错误计算了仓位。

我经手的客户中，那些持续盈利的，没有一个不重视数据清洗。他们会：

• 定期校验数据完整性
• 维护自定义的交易日历
• 对特殊事件(如ST、退市)建立专门处理流程
• 在回测前做全面的数据质量检查

从数据到实盘的关键一步

清洗好的数据就像淘净的金沙，接下来就该让它产生价值了。不过在这之前，你还需要一个可靠的交易通道——这就是为什么专业投资者都会选择正规券商的开户服务。

在我们券商，不仅提供经过严格质量控制的Level2数据接口，还会为量化客户配备专属的数据工程师，帮助处理各种corner case。比如去年我们就帮一个做高频的客户解决了集合竞价时段的数据对齐问题，使他的策略滑点降低了37%。

如果你还在为数据问题头疼，不妨来找我聊聊。开户后可以获取：

1. 经过清洗的完整历史数据
2. 实时数据异常检测服务
3. 特殊行情(如涨跌停、停牌)的专门提醒
4. 量化策略的实盘环境支持

记住，在股市里，干净的数据就像清晰的视力表——能让你比别人更早发现机会，更快避开风险。而一个好的券商，就是你的专业验光师。