pandas_因子标准化(例子)

最新推荐文章于 2024-04-02 21:51:45 发布

程序猿与金融与科技

最新推荐文章于 2024-04-02 21:51:45 发布

阅读量1.6k

点赞数

分类专栏： pandas基础与金融实例练习文章标签： pandas

本文链接：https://blog.csdn.net/m0_37967652/article/details/122901681

版权

因子标准化去极值中位数绝对偏差 StandardScaler 数据预处理

关键词由CSDN通过智能技术生成

pandas基础与金融实例练习专栏收录该内容

122 篇文章 23 订阅

订阅专栏

题目：

1. 将因子数据做标准化处理

2. 以2021-01-04的PE数据作为例子数据

概念：

因子标准化：将因子数据按某种标准把数据转化成某个范围内

注：一般要将因子数据去极值后再进行标准化处理

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
df_pe_20210104 = pd.read_csv('./pe_20210104.csv',encoding='utf-8')
df_pe_20210104 = df_pe_20210104.loc[:,['secID','tradeDate','closePrice','PE']]
df_pe_20210104.head()

# 自实现3倍中位数绝对偏差去极值
def mad(factor):
    me = np.median(factor)
    mad = np.median(abs(factor-me))
    # 求出3倍中位数的上下限制
    up = me + (3*1.4826*mad)
    down = me - (3*1.4826*mad)
    # 利用3倍中位数的值去极值
    factor = np.where(factor>up,up,factor)
    factor = np.where(factor<down,down,factor)
    return factor
df_pe_20210104['pe_mad'] = mad(df_pe_20210104['PE'])
df_pe_20210104['PE'].plot()
df_pe_20210104['pe_mad'].plot()

std_s = StandardScaler()
df_pe_20210104['pe_mad_std_s']=std_s.fit_transform(df_pe_20210104['pe_mad'].to_frame())
df_pe_20210104['pe_mad_std_s'].plot()

# 自实现标准化
def stand(factor):
	mean = factor.mean()
	std = factor.std()
	return (factor-mean)/std
df_pe_20210104['pe_mad_std'] = stand(df_pe_20210104['pe_mad'])

PS:

所使用的数据

链接：https://pan.baidu.com/s/11GubyLR2ZkuiXhyk5n6MzA
提取码：n14t