量化投资03---小市值轮动因子---准备工作01

最新推荐文章于 2024-04-30 17:28:01 发布
最新推荐文章于 2024-04-30 17:28:01 发布
阅读量608 收藏 1
点赞数
分类专栏： python 文章标签： python pandas 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/turui/article/details/127237121
版权 
import akshare as ak
import pandas as pd
#找出历史所有的股票（代码）

# 所有退市的股票代码及名称
df_stop = ak.stock_zh_a_stop_em()
d1 = df_stop[['代码','名称']]
col=['code','name']
d1.columns=col
d1.set_index('code',inplace=True)

#这里要特别注意，不管你把那一列设置为索引之后
# 索引这一列的数据类型为
print(type(d1.index))
# 取得这个类型的字符串值需要这样处理
print(d1.index.str)

d1 = d1.sort_index()
d1
#详细的查看退市的股票有哪些
#d1 = d1[~(d1.index.str.startswith('400'))] 
#d1 = d1[~(d1.index.str.startswith('420'))] 
#d1.shape
# 经过查看，都只是4开头的，这是为啥？

<class 'pandas.core.indexes.base.Index'>
<pandas.core.strings.accessor.StringMethods object at 0x000001F9D341B640>
name
code
400002长 白 5
400005海国实 5
400006京中兴1
400007华 凯 1
400008水仙Ａ 5
......
420103*ST舜喆B
420108退市鹏起B
420120绿庭B5
420140东海B3
420153海创B3

154 rows × 1 columns

#获得A股分钟级历史股票数据
# 跟日历史数据不同
# 这里有昨收这个价格，而没有前收盘价，对于实时数据来讲是对的
# 这里有最新价，而没有收盘价，深市有收盘集合竞价
# 今开 不一定 跟做收对应，开盘有集合竞价

df_now = ak.stock_zh_a_spot_em()
df_now.columns

Index(['序号', '代码', '名称', '最新价', '涨跌幅', '涨跌额', '成交量', '成交额', '振幅', '最高', '最低',
       '今开', '昨收', '量比', '换手率', '市盈率-动态', '市净率', '总市值', '流通市值', '涨速', '5分钟涨跌',
       '60日涨跌幅', '年初至今涨跌幅'],
      dtype='object')

# 上市的股票代码及名称
d2 = df_now[['代码','名称']]
col=['code','name']
d2.columns=col
d2.set_index('code',inplace=True)
# 注意：一旦code被设置成索引，则dataframe的cloumns中将不包含code
d2 = d2.sort_index()

#股票代码规则请收看
#https://blog.csdn.net/turui/article/details/127113419
#找出我们需要的数据，上证，60,68开头（600,601,603,605,688），深证00,30开头（000,002,300,301）
# 605 是上海主板的新号段
# 001×××国债现货
# 003特殊时期股票
# 400 420 403 新三板的企业
# 689科创板的特殊股票
# 82,83,87以及新三板都是北交所的股票代码

#d2 = d2[~(d2.index.str.startswith('600'))] 
#d2 = d2[~(d2.index.str.startswith('601'))] 
#d2 = d2[~(d2.index.str.startswith('603'))] 
#d2 = d2[~(d2.index.str.startswith('605'))] 
#d2 = d2[~(d2.index.str.startswith('688'))] 
#d2 = d2[~(d2.index.str.startswith('000'))] 
#d2 = d2[~(d2.index.str.startswith('002'))] 
#d2 = d2[~(d2.index.str.startswith('300'))] 
#d2 = d2[~(d2.index.str.startswith('301'))] 

#不玩以下的股票
d2 = d2[~(d2.index.str.startswith('001'))] 
d2 = d2[~(d2.index.str.startswith('003'))] 
d2 = d2[~(d2.index.str.startswith('400'))] 
d2 = d2[~(d2.index.str.startswith('420'))] 
d2 = d2[~(d2.index.str.startswith('430'))] 
d2 = d2[~(d2.index.str.startswith('689'))] 
d2 = d2[~(d2.index.str.startswith('83'))] 
d2 = d2[~(d2.index.str.startswith('87'))] 
d2.columns

Index(['name'], dtype='object')

d2.index

Index(['000001', '000002', '000003', '000004', '000005', '000006', '000007',
       '000008', '000009', '000010',
       ...
       '688786', '688787', '688788', '688789', '688793', '688798', '688799',
       '688800', '688819', '688981'],
      dtype='object', name='code', length=4940)

# 本来想把退市的股票跟上市的股票一起整理来的
# 发现退市的股票都是400开头，则这里不再额外整理
#df_all = pd.concat([d1,d2],axis=0)
#df_all = df_all.sort_index()

# 需要生成         股票代码 股票名称 交易日期 开盘价 最高价 最低价 收盘价 前收盘价 成交量 成交额 流通市值 总市值
# 当前数据中有的   代码     名称              今开   最高   最低   最新价 昨收     成交量 成交额 流通市值 总市值

# 收盘后可以这样计算当前总股本数
#d3 = df_now.loc[df_now['代码'].isin(d2.index),['代码','名称','交易日期','开盘','收盘','昨收','流通市值','总市值']]
d3              = df_now.loc[df_now['代码'].isin(d2.index),['代码']]
d3['股票名称']  = df_now.loc[df_now['代码'].isin(d2.index),['名称']]
d3['交易日期']  = pd.Timestamp.today().strftime('%Y-%m-%d') #datetime.now()
d3['开盘价']    = df_now.loc[df_now['代码'].isin(d2.index),['今开']]
d3['收盘价']    = df_now.loc[df_now['代码'].isin(d2.index),['最新价']]
d3['昨收']      = df_now.loc[df_now['代码'].isin(d2.index),['昨收']]
d3['流通市值']  = df_now.loc[df_now['代码'].isin(d2.index),['流通市值']]
d3['总市值']    = df_now.loc[df_now['代码'].isin(d2.index),['总市值']]
                
col=['code','name','date_trade','open','close','close_yesterday','value_liquidity','value_total']
d3.columns=col
d3.set_index('code',inplace=True)
d3 = d3.sort_index()

#新加两列'股本'
d3['equity_liquidity'] = d3['value_liquidity'] / d3['close']
d3['equity_total'] = d3['value_total'] / d3['close']
d3
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_total
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10
000002万 科Ａ2022-10-1017.5417.8317.151.732605e+112.073755e+119.717361e+091.163071e+10
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaN
000004ST国华2022-10-108.368.448.369.818123e+081.121237e+091.163285e+081.328480e+08
000005ST星源2022-10-101.671.681.671.777350e+091.778342e+091.057946e+091.058537e+09
..............................
688798艾为电子2022-10-1091.7390.4091.808.604724e+091.500640e+109.518500e+071.660000e+08
688799华纳药厂2022-10-1031.2431.4831.231.741253e+092.952824e+095.531300e+079.380000e+07
688800瑞可达2022-10-10136.00130.00136.009.227140e+091.471042e+107.097800e+071.131571e+08
688819天能股份2022-10-1034.1232.9034.514.279480e+093.198209e+101.300754e+089.721000e+08
688981中芯国际2022-10-1037.5137.7837.567.395067e+102.992704e+111.957403e+097.921399e+09

4940 rows × 9 columns

#处理NAN的数据
# 会看到 value_market（市值）为NaN，即当天没有市值，即已经退市的一些股票
# 这些股票的历史数据也是有意义的，所以股票代码保持全量，但是退市前的市值，股本取起来是个麻烦事情
# 有一些是退市的股票，有些是未上市股票
# 有昨收的是退市的，没昨收的是将上市的
# 有Nan的，总计198支，其中退市189，其中188只有昨收，000508 这只股票没有昨收但已经退市，即将上市9只
# 即将上市的股票代码取历史日线数据会出错
dnan = d3.loc[d3['value_total'].isnull()]
#dnan = dnan[~(dnan.index.str.startswith('000'))] 
#dnan = dnan[~(dnan.index.str.startswith('002'))] 
#dnan = dnan[~(dnan.index.str.startswith('300'))] 
#dnan = dnan[~(dnan.index.str.startswith('301'))] 
#dnan = dnan[~(dnan.index.str.startswith('600'))] 
#dnan = dnan[~(dnan.index.str.startswith('601'))] 
#dnan = dnan[~(dnan.index.str.startswith('603'))] 
#dnan = dnan[~(dnan.index.str.startswith('688'))] 
dnan
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_total
code
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaN
000013*ST石化A2022-10-10NaNNaN2.47NaNNaNNaNNaN
000015PT中浩A2022-10-10NaNNaN6.85NaNNaNNaNNaN
000018神城A退2022-10-10NaNNaN0.27NaNNaNNaNNaN
000024招商地产2022-10-10NaNNaN40.50NaNNaNNaNNaN
..............................
603996退市中新2022-10-10NaNNaN0.39NaNNaNNaNNaN
688152麒麟信安2022-10-10NaNNaNNaNNaNNaNNaNNaN
688291金橙子2022-10-10NaNNaNNaNNaNNaNNaNNaN
688372伟测科技2022-10-10NaNNaNNaNNaNNaNNaNNaN
688426康为世纪2022-10-10NaNNaNNaNNaNNaNNaNNaN

198 rows × 9 columns

#新上市股票代码
df_newstock = dnan[dnan['value_total'].isnull() & dnan['close_yesterday'].isnull()] 
#df_newstock = df_newstock[~df_newstock.index.str.startswith("000508")]

# PD的索引类型可以跟字符串比较是否相等，却不能跟时间类型直接比较
df_newstock = df_newstock[df_newstock.index != '000508'] 

df_newstock
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_total
code
301223中荣股份2022-10-10NaNNaNNaNNaNNaNNaNNaN
301230泓博医药2022-10-10NaNNaNNaNNaNNaNNaNNaN
301367怡和嘉业2022-10-10NaNNaNNaNNaNNaNNaNNaN
301379天山电子2022-10-10NaNNaNNaNNaNNaNNaNNaN
301389隆扬电子2022-10-10NaNNaNNaNNaNNaNNaNNaN
688152麒麟信安2022-10-10NaNNaNNaNNaNNaNNaNNaN
688291金橙子2022-10-10NaNNaNNaNNaNNaNNaNNaN
688372伟测科技2022-10-10NaNNaNNaNNaNNaNNaNNaN
688426康为世纪2022-10-10NaNNaNNaNNaNNaNNaNNaN
# 退市股票代码
# 这里不能分两步写，否则要用到conact
df_closed = dnan[(~dnan['close_yesterday'].isnull())|(dnan.index == '000508')]
df_closed
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_total
code
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaN
000013*ST石化A2022-10-10NaNNaN2.47NaNNaNNaNNaN
000015PT中浩A2022-10-10NaNNaN6.85NaNNaNNaNNaN
000018神城A退2022-10-10NaNNaN0.27NaNNaNNaNNaN
000024招商地产2022-10-10NaNNaN40.50NaNNaNNaNNaN
..............................
601268*ST二重2022-10-10NaNNaN2.35NaNNaNNaNNaN
601299中国北车2022-10-10NaNNaN29.98NaNNaNNaNNaN
601558退市锐电2022-10-10NaNNaN0.25NaNNaNNaNNaN
603157退市拉夏2022-10-10NaNNaN0.59NaNNaNNaNNaN
603996退市中新2022-10-10NaNNaN0.39NaNNaNNaNNaN

189 rows × 9 columns

# 取出子集，包括了退市的189支+4742支上市的，合计4931支
# 不包含新股票9只
d4 = d3.loc[~d3.index.isin(df_newstock.index)]
d4 = d4.sort_index()
d4
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_total
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10
000002万 科Ａ2022-10-1017.5417.8317.151.732605e+112.073755e+119.717361e+091.163071e+10
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaN
000004ST国华2022-10-108.368.448.369.818123e+081.121237e+091.163285e+081.328480e+08
000005ST星源2022-10-101.671.681.671.777350e+091.778342e+091.057946e+091.058537e+09
..............................
688798艾为电子2022-10-1091.7390.4091.808.604724e+091.500640e+109.518500e+071.660000e+08
688799华纳药厂2022-10-1031.2431.4831.231.741253e+092.952824e+095.531300e+079.380000e+07
688800瑞可达2022-10-10136.00130.00136.009.227140e+091.471042e+107.097800e+071.131571e+08
688819天能股份2022-10-1034.1232.9034.514.279480e+093.198209e+101.300754e+089.721000e+08
688981中芯国际2022-10-1037.5137.7837.567.395067e+102.992704e+111.957403e+097.921399e+09

4931 rows × 9 columns

#增加一列，是否退市的标记
# 这可以说是一份基本完整的快照数据了
df_all = d4
df_all['is_closed'] = False
df_all['is_closed'] = df_all['value_total'].isnull()
df_all
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10False
000002万 科Ａ2022-10-1017.5417.8317.151.732605e+112.073755e+119.717361e+091.163071e+10False
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaNTrue
000004ST国华2022-10-108.368.448.369.818123e+081.121237e+091.163285e+081.328480e+08False
000005ST星源2022-10-101.671.681.671.777350e+091.778342e+091.057946e+091.058537e+09False
.................................
688798艾为电子2022-10-1091.7390.4091.808.604724e+091.500640e+109.518500e+071.660000e+08False
688799华纳药厂2022-10-1031.2431.4831.231.741253e+092.952824e+095.531300e+079.380000e+07False
688800瑞可达2022-10-10136.00130.00136.009.227140e+091.471042e+107.097800e+071.131571e+08False
688819天能股份2022-10-1034.1232.9034.514.279480e+093.198209e+101.300754e+089.721000e+08False
688981中芯国际2022-10-1037.5137.7837.567.395067e+102.992704e+111.957403e+097.921399e+09False

4931 rows × 10 columns

# 找出三个典型例子观察下
df_all.loc[df_all.index.isin(['000001','000003','000508'])] # 三种情况：正常，退市，000508这个特殊的额存在
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10False
000003PT金田A2022-10-10NaNNaN2.71NaNNaNNaNNaNTrue
000508琼民源A2022-10-10NaNNaNNaNNaNNaNNaNNaNTrue
# 因为显式索引为code，那么直接使用df_all[0]会报错
# 根据数组下标（隐式索引），获得股票代码（显式索引）
df_all.index[0]

'000001'

#带上列取值
df_all.loc[df_all.index[0],'name']

'平安银行'

# 按照数组下标取得一行则为 
# 注意 dataframe 的 loc 后面跟的是[]
df_all.loc[df_all.index[0]]

name                              平安银行
date_trade                  2022-10-10
open                             11.87
close                            11.84
close_yesterday                  11.86
value_liquidity         229761675888.0
value_total             229766071464.0
equity_liquidity         19405546950.0
equity_total        19405918197.972973
is_closed                        False
Name: 000001, dtype: object

#df_all.loc[df_all.index[0],'close_yesterday']
df_all.iloc[0]['close_yesterday']

11.86

# 把收盘价补回来（目前只有一个000508）
# 这里有个取单元格（close_yesterday）的值得方法（想了俺半天）
# 注意看打印
for i in range(0,len(df_all)):    
    if pd.isna(df_all.iloc[i]['close_yesterday']):
        
            # 从另一个接口，取出所有的历史日线，放入 df_day
            code_full = 'sz'+ df_all.index[i]
            df_day = ak.stock_zh_index_daily(symbol=code_full)  
            df_day.sort_values(by='date')
            print(df_day.sort_values(by='date').tail(3))
            print(df_all.iloc[i]['close_yesterday'])
            
            
            # df_day 最后一个的收盘价用来赋值
            df_all.loc[df_all.index[i],'close_yesterday'] = df_day.sort_values(by='date').tail(1)['close'].iloc[0]
            print(df_all.iloc[i]['close_yesterday'])
            
            #df_all.loc[df_all.index[i],'close_yesterday'] = 23.5            
            # 这里是个谜，只能用loc这个热方法来赋值，目前还不清楚iloc方法不能赋值问题出在哪里
            #df_all.iloc[i]['close_yesterday']              = df_day.sort_values(by='date').tail(1)['close'].iloc[0]
            #df_all.iloc[i]['close_yesterday']              = 23.5
            
        
#df_all[~df_all['close_yesterday'].isnull()]

           date   open   high    low  close    volume
937  1997-02-26  24.15  25.48  24.12  25.41  10165400
938  1997-02-27  26.00  26.18  24.90  25.22  10688600
939  1997-02-28  24.80  24.80  22.70  23.50  56362000
nan
23.5

df_all.loc['000508']
d_test = df_all.loc[df_closed.index]
#d_test = df_all.loc[df_closed.index,['name','close_yesterday']]
#d_test = df_all.loc[df_closed.index,'close_yesterday'] #换成这一行会报错

# 这里还发现iloc 的另外一个问题，当只有一列的时候，会报错
d_test.iloc[0]['close_yesterday'] 

2.71

# 针对已经退市的股票，想对比一下
# 从实时行情得到的昨收df_all['close_yesterday']
# 从各支股票最后一条数据的收盘价
# 是否一样
d_test = df_all.loc[df_closed.index]
for i in range(0,len(d_test)):
    code_now = d_test.index[i]
    code_full = ''
    if code_now.startswith('6'):
        code_full = 'sh' + code_now
    else:
        code_full = 'sz' + code_now 
    
    df_day = ak.stock_zh_index_daily(symbol=code_full)
    if(d_test.loc[d_test.index[i]]['close_yesterday'] != df_day.sort_values(by='date').tail(1)['close'].iloc[0]):
        print(d_test.loc[d_test.index[i]])
    #else:
        #print(d_test.iloc[i])    
print('Nice!')

#运行这模块要等待一段时间，毕竟请求了189次股票的数据
#验证完毕这里的数据都是对的

Nice!

#网易的数据接口，没有复权，有总市值

#sz000003 这只退市的股票为例，请求为
#http://quotes.money.163.com/service/chddata.html?code=1000003&start=19910103&end=20020426&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP
#http://quotes.money.163.com/service/chddata.html?code=1000003

#函数：网易数据接口获得某只股票的历史日线（行情）数据
def get_daily_163(code,start='19900101',end=''):
    if code.startswith('6'):
        code = '0'+code
    else:
        code = '1'+code
    url_mod="http://quotes.money.163.com/service/chddata.html?code=%s&start=%s&end=%s"
    url=url_mod%(code,start,end)
    df=pd.read_csv(url, encoding = 'gb2312')
    
    #修复数据，上市第一天，前开盘价肯定是1，原始数据为0
    df.loc[df.index[-1],['前收盘']] = 1
    
    #赋值的老疑惑问题，以下两句有警告
    #df.tail(1)['前收盘'] = 1
    #df.iloc[-1]['前收盘'] = 1
    
    # 这里还是一定要转换成时间类型的
    # 否则用字符串类型作为索引的话很多赋值切片工作无法完成
    df.index = pd.to_datetime(df.日期)    
    df.sort_index() # 这里排序很重要哦，关系到下面的数据填充
    df = df[['股票代码','名称','日期','开盘价','收盘价','前收盘','流通市值','总市值']]    
    df['股票代码'] = code[1:]
    df['流通股本'] = df['流通市值'] / df['收盘价']
    df['总股本']   = df['总市值']   / df['收盘价']
    df['未开张']   =~((df['开盘价'] > 0) & (df['收盘价'] > 0)) #针对某只股票当前是指它是否退市，针对某只股票某天它是否交易

    #print(~df['未开张'])
    #向下填充，处理未开市的日子
    #df.replace(to_replace=np.inf,value=np.nan) #为什么这里用replace不起作用？搞不懂
    df.loc[df['未开张'],'流通股本'] = np.nan
    df.loc[df['未开张'],'总股本'] = np.nan
    df = df.fillna(method='ffill')    
    
    df = df.rename(columns={'名称':'股票名称'})    
    df = df.rename(columns={'前收盘':'前收盘价'})
    df = df.sort_index()
        
    df.rename(columns={'股票代码':'code',
                      '股票名称':'name',
                      '日期'    :'date_trade',
                      '开盘价'  :'open',
                      '收盘价'  :'close',
                      '前收盘价':'close_before',
                      '流通市值':'value_liquidity',
                      '总市值'  :'value_total',
                      '流通股本':'equity_liquidity',
                      '总股本'  :'equity_total',
                      '未开张'    :'is_closed'},
                      inplace=True)
    return df

#一只股票为例，处理数据
df_his = get_daily_163('000003')
df_his
codenamedate_tradeopencloseclose_beforevalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
日期
1991-01-02000003深金田Ａ1991-01-02189.66189.661.001.147986e+101.894926e+106.052864e+079.991174e+07False
1991-01-03000003深金田Ａ1991-01-03188.25188.25189.661.139452e+101.880839e+106.052864e+079.991174e+07False
1991-01-04000003深金田Ａ1991-01-04187.31187.31188.251.133762e+101.871447e+106.052864e+079.991174e+07False
1991-01-09000003深金田Ａ1991-01-090.000.00187.311.133762e+101.871447e+106.052864e+079.991174e+07True
1991-01-10000003深金田Ａ1991-01-100.000.00187.311.133762e+101.871447e+106.052864e+079.991174e+07True
....................................
2002-04-22000003PT金田Ａ2002-04-220.000.002.584.953879e+086.687277e+081.920108e+082.591968e+08True
2002-04-23000003PT金田Ａ2002-04-230.000.002.584.953879e+086.687277e+081.920108e+082.591968e+08True
2002-04-24000003PT金田Ａ2002-04-240.000.002.584.953879e+086.687277e+081.920108e+082.591968e+08True
2002-04-25000003PT金田Ａ2002-04-250.000.002.584.953879e+086.687277e+081.920108e+082.591968e+08True
2002-04-26000003PT金田Ａ2002-04-262.712.712.585.203493e+087.024233e+081.920108e+082.591968e+08False

2770 rows × 11 columns

# 做一个空的df，存放所有退市的股票的，最后一个交易日（历史数据中）的数据
#df_all.drop(df_all.index,axis=0,inplace=True)  #两句的效果应该是一样的
df_snapshot = df_all.iloc[:0]
df_snapshot
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
code
#获得所有退市的股票的总市值，流通市值数据（历史数据的最后一行）
for i in range(0,len(df_closed)):   
    d = get_daily_163(df_closed.index[i])
    
    d = d.loc[~d['is_closed']].tail(1)
    #print(d)
    
    d.set_index('code',inplace=True)    
    #print(d)
    df_snapshot = pd.concat([df_snapshot,d])    
# 这里请求了189次数据，运算需要一定的时间
df_snapshot['is_closed'] = True
df_snapshot = df_snapshot.sort_index()
df_snapshot
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closedclose_before
code
000003PT金田Ａ2002-04-262.712.71NaN5.203493e+087.024233e+081.920108e+082.591968e+08True2.58
000013*ST石化A2004-04-282.452.47NaN1.267703e+086.683696e+085.132400e+072.705950e+08True2.50
000015PT中浩Ａ2001-06-086.856.85NaN1.798988e+089.273079e+082.626260e+071.353734e+08True6.80
000018神城A退2020-01-060.270.27NaN3.721804e+084.585262e+081.378446e+091.698245e+09True0.27
000024招商地产2015-12-0740.6040.50NaN4.158946e+101.043260e+111.026900e+092.575951e+09True39.50
....................................
601268*ST二重2014-04-282.222.35NaN3.971500e+095.389606e+091.690000e+092.293450e+09True2.24
601299中国北车2015-05-0632.8829.98NaN3.035800e+113.675482e+111.012608e+101.225978e+10True32.60
601558退市锐电2020-06-230.250.25NaN1.507650e+091.507650e+096.030600e+096.030600e+09True0.25
603157退市拉夏2022-05-170.650.59NaN1.962358e+083.231263e+083.326030e+085.476716e+08True0.64
603996退市中新2022-05-170.400.39NaN1.170585e+081.170585e+083.001500e+083.001500e+08True0.39

189 rows × 11 columns

# 用快照填充，当日K线中，这些退市的股票的，市值，股本相关的数据
df_all.loc[df_snapshot.index] = df_snapshot
df_all
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10False
000002万 科Ａ2022-10-1017.5417.8317.151.732605e+112.073755e+119.717361e+091.163071e+10False
000003PT金田Ａ2002-04-262.712.71NaN5.203493e+087.024233e+081.920108e+082.591968e+08True
000004ST国华2022-10-108.368.448.369.818123e+081.121237e+091.163285e+081.328480e+08False
000005ST星源2022-10-101.671.681.671.777350e+091.778342e+091.057946e+091.058537e+09False
.................................
688798艾为电子2022-10-1091.7390.4091.808.604724e+091.500640e+109.518500e+071.660000e+08False
688799华纳药厂2022-10-1031.2431.4831.231.741253e+092.952824e+095.531300e+079.380000e+07False
688800瑞可达2022-10-10136.00130.00136.009.227140e+091.471042e+107.097800e+071.131571e+08False
688819天能股份2022-10-1034.1232.9034.514.279480e+093.198209e+101.300754e+089.721000e+08False
688981中芯国际2022-10-1037.5137.7837.567.395067e+102.992704e+111.957403e+097.921399e+09False

4931 rows × 10 columns

# 查看一下快照中的几个有特点的值，集合是乱序的，结果是按照index（代码）排序的
df_all.loc[df_all.index.isin(['000001','000003','000508','000015','603157','300264'])]
namedate_tradeopencloseclose_yesterdayvalue_liquidityvalue_totalequity_liquidityequity_totalis_closed
code
000001平安银行2022-10-1011.8711.8411.862.297617e+112.297661e+111.940555e+101.940592e+10False
000003PT金田Ａ2002-04-262.712.71NaN5.203493e+087.024233e+081.920108e+082.591968e+08True
000015PT中浩Ａ2001-06-086.856.85NaN1.798988e+089.273079e+082.626260e+071.353734e+08True
000508琼民源A1997-02-2824.8023.50NaN4.404452e+091.314976e+101.874235e+085.595642e+08True
300264佳创视讯2022-10-104.984.904.981.746294e+092.024190e+093.563866e+084.131000e+08False
603157退市拉夏2022-05-170.650.59NaN1.962358e+083.231263e+083.326030e+085.476716e+08True
#函数：akshare新浪接口获得某一只股票的历史日线（行情）数据
#没有股本，没有市值
def get_daily_sina(code):
    code_full = ''
    if code.startswith('6'):
        code_full = 'sh' + code
    else:
        code_full = 'sz' + code

    df_day = ak.stock_zh_index_daily(symbol=code_full)
    df_day['date'] = pd.to_datetime(df_day['date'])
    df_day.set_index('date',inplace=True)
    df_day = df_day.sort_index()
    #path_file = './'+code_full+'.csv'
    #df_day.to_csv(path_file)    
    return df_day

# 数据比对任务（有关复权的处理练习）
# 1、用当天的行情数据的，总市值，流通市值，最新价（收盘价），计算总股本，流通股本
# 2、获得有转增、送股的 分红信息
# 3、跟历史的行情数据中的对比（总市值，流通市值，收盘价，计算总股本，流通股本）
# 4、主要对比 股本变化前日，当日的历史数据，以及根据快照计算的数据，两者是否一致
# 5、股本变化后上市的价格是复权后的价格，所以这里的市值计算对比，一定要处理复权

#pandas中pd.NaT表示 not a time。
#如果要判断一个时间是不是pd.NaT可以使用pd.isna()、pd.notna()等方法。

#pandas中pd.NaN表示不是一个数字
# 去掉 有 nan 的索引项
#print(s1.dropna())

# 是否为空 pd.isnull notnull
# 是否为空字符串 == ''
# 是否为0 == 0

# 以一只股票为例
code = '000003' 
df_fenhong = ak.stock_history_dividend_detail(symbol=code)
df_fenhong
公告日期送股转增派息进度除权除息日股权登记日红股上市日
01996-07-10200实施1996-07-271996-07-261996-07-31
11995-07-28201实施1995-08-211995-08-18NaT
21994-05-06401实施1994-05-201994-05-19NaT
df_fenhong = df_fenhong[~((df_fenhong['送股'] == 0) & (df_fenhong['转增'] == 0))]

#df_fenhong[pd.notna(df_fenhong['除权除息日'])]
#df_fenhong[pd.isna(df_fenhong['红股上市日'])].index

# 本来，想将所有没有红股上市日的，都填写为 除权除息日，结果发现根本不行
# 以000003 的第一条为例
i = df_fenhong[pd.isna(df_fenhong['红股上市日'])].index
print(i)
df_fenhong.loc[i,'红股上市日'] = df_fenhong.loc[i,'除权除息日'] #稍作处理统一用红股上市日
df_fenhong = df_fenhong.sort_values(by=['红股上市日'],ascending=[False])
df_fenhong

Int64Index([1, 2], dtype='int64')
公告日期送股转增派息进度除权除息日股权登记日红股上市日
01996-07-10200实施1996-07-271996-07-261996-07-31
11995-07-28201实施1995-08-211995-08-181995-08-21
21994-05-06401实施1994-05-201994-05-191994-05-20
d_compare_a = pd.DataFrame()
d_compare_a['日期']        = df_fenhong['红股上市日']
d_compare_a['股票代码']    = code
d_compare_a['股票名称']    = ''
d_compare_a['送股']        = df_fenhong['送股']
d_compare_a['转增']        = df_fenhong['转增']

d_compare_a['收盘价']      = 0
d_compare_a['前收盘价']    = 0
d_compare_a['流通市值'] = 0 #查，根据股票代码，时间，直接查
d_compare_a['总市值']   = 0 
d_compare_a['流通股本']    = 0
d_compare_a['总股本']    = 0 

#df = df.drop(labels='日期', axis=1)
#d_compare_a.index = pd.to_datetime(df_fenhong['红股上市日'])
d_compare_a.set_index('日期',inplace=True)
d_compare_a
股票代码股票名称送股转增收盘价前收盘价流通市值总市值流通股本总股本
日期
1996-07-3100000320000000
1995-08-2100000320000000
1994-05-2000000340000000
code = '000003'
df_his = get_daily_163(code)
print(type(d_compare_a.index))
print(type(df_his.index))
print(d_compare_a.index)
print(df_his.index)

#DatetimeIndex 还是要必须的，要不后面处理数据好麻烦

<class 'pandas.core.indexes.base.Index'>
<class 'pandas.core.indexes.datetimes.DatetimeIndex'>
Index([1996-07-31, 1995-08-21, 1994-05-20], dtype='object', name='日期')
DatetimeIndex(['1991-01-02', '1991-01-03', '1991-01-04', '1991-01-09',
               '1991-01-10', '1991-01-11', '1991-01-14', '1991-01-15',
               '1991-01-16', '1991-01-17',
               ...
               '2002-04-15', '2002-04-16', '2002-04-17', '2002-04-18',
               '2002-04-19', '2002-04-22', '2002-04-23', '2002-04-24',
               '2002-04-25', '2002-04-26'],
              dtype='datetime64[ns]', name='日期', length=2770, freq=None)

#查出来的一只股票在配股转增当日的情况
d_compare_a['股票名称']    = df_his.loc[d_compare_a.index,'name']
d_compare_a['收盘价']      = df_his.loc[d_compare_a.index,'close']
d_compare_a['前收盘价']    = df_his.loc[d_compare_a.index,'close_before']
d_compare_a['流通市值']    = df_his.loc[d_compare_a.index,'value_liquidity']
d_compare_a['总市值']      = df_his.loc[d_compare_a.index,'value_total']
d_compare_a['流通股本']    = df_his.loc[d_compare_a.index,'equity_liquidity']
d_compare_a['总股本']      = df_his.loc[d_compare_a.index,'equity_total']
d_compare_a
股票代码股票名称送股转增收盘价前收盘价流通市值总市值流通股本总股本
日期
1996-07-31000003深金田Ａ205.906.181.131883e+091.529261e+09191844499.0259196782.0
1995-08-21000003深金田Ａ204.425.554.710848e+086.773085e+08106580275.0153237208.0
1994-05-20000003深金田Ａ407.8211.164.733339e+087.813098e+0860528637.099911741.0
# 第0行  ：根据df_all（快照）得到的股本数 跟日期最近的一条是否一致
# 总股本数一定是一致的，流通股本数有可能会不一致哦
# 其他行 ： 根据上一行的送股、转增方案，计算得来
for j in range(len(d_compare_a)):
    row = d_compare_a.iloc[j]
    if j == 0:        
        print( (df_all.loc[row['股票代码'],'equity_total'] - row['总股本']) <= 0.000001)
        #print( df_all.loc[row['股票代码'],'equity_liquidity'] -row['流通股本'] <= 0.000001)
    else:
        last = d_compare_a.iloc[j-1]
        print(row['总股本'] - last['总股本']/(1+last['送股']/10+last['转增']/10) <= 0.000001)  

True
True
True

#关于复权，这里看一个问题

其中的第一条，日期为 1996-07-31的数据如下：

日期： 1996-07-31
收盘价： 5.9
流通市值：1131882544.1
总市值： 1529261013.8 //经过计算得到下面两组数据
流动股本：192010804.0
总股本： 259196782.0

我们来计算一下1995-08-21 这天的数据
看看查出来的数据跟算出来的数据是否一样呢？
1996-07-31做了10 送2 在这之后，再就没查到分红配股信息了
我们认为这之后的股本总数是不变的，则分红前：
流动股本：192010804.0 / (1+送股/10+转增/10）= 192010804.0 / 1.2= 160009003.33333334
总股本：259196782.0/ (1+送股/10+转增/10）= 259196782.0/ 1.2= 215997318.33333337
计算 1995-08-21的 收盘价为 4.42 则
流动市值 = 4.42160009003.33333334 = 707239794.7333333
总市值 = 4.42215997318.33333337 = 954708147.0333335
整理如下：

日期： 1995-08-21
收盘价： 4.42
流通市值：707239794.73
总市值： 954708147.03
流动股本：160009003.33
总股本： 215997318.33

这个跟表中查询出来的结果相差也太多了（流通市值4.710848e+08，总市值：6.773085e+08）
turui
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
量化交易-单因子有效性分析-个股市值
01-14
近10年（2013-2022）每年收益及IC分析结果 个人量化交易专辑索引：https://blog.csdn.net/c07290/article/details/135430785
从小市值因子策略入手，带你入门量化投资 (附年化收益率77.83%策略)
量化交易研究
02-21 2947
随着量化投资在国内的兴起，越来越多的人开始研究量化投资。可其中有不少人在学习代码、研究策略的过程中败下阵来，但量化投资其实也可以很简单。 今天，我们以经典的小市值因子策略为例，为大家演示如何借助掘金量化终端（以下简称“掘金终端”）入门量化投资！ 开始编写前，先确认我们的交易标的、交易时间以及交易逻辑，这里设置如下： 交易标的：全市场A股股票（剔除停牌、ST股、次新股） 交易时间：每月第一个交易日，调仓换股 交易逻辑：等权买入市值最小的N只股票 接着，打开掘金终端，在“量化研究”的板块下新建一个策略。
量化交易 实战第五课 市值因子策略
热门推荐
我是小白呀的博客
03-18 1万+
量化交易 实战第五课 市值因子策略.
《Python量化投资》02 单因子极值-标准化预处理
qq_44951759的博客
01-24 2478
一、因子计算的预处理 极值处理与标准化：去除极值，降低极值对于数据的影响 标准化：对不同数据进行同一处理的时候需要同一量纲。这样因子与因子就可以进行计算 极值处理:Triming和Winsorizing，一般因子如果极值是不对的原因造成，这样的因子就不能使用了，就Triming，去除这些不用的因子。Winsorizing：当数据中有因子的极值，这样的因子不是错误的，所以只要Winsorizing，对数据进行压缩一下。 中心化：类似于提纯，取出一个因子中不同因素的影响，对因子进行提纯。 行业中性：提出行业的区
Fama-French三因子模型
小壁虎的春天
12-20 7482
今天我们来介绍Fama-French三因子模型。 什么是Fama-French三因子？ Fama French三因子模型是对CAPM模型的一个扩展。CAPM模型认为：（1）证券资产的预期收益和它的市场Beta之间存在一个正向的线性关系，Beta越大，资产的预期收益越大；（2）市场Beta足以解释证券资产的预期收益。 Eugene Fama和Kenneth French，两位来自芝加哥大学的教...
20210223-中银国际-中银量化因子周报：价值与小市值策略表现优异，高换手率因子持续拥挤.pdf
04-08
20210223-中银国际-中银量化因子周报：价值与小市值策略表现优异，高换手率因子持续拥挤.pdf
Python股票量化—小市值策略源文件
08-17
选股策略：市值因子 具体内容：在没个月的最后一个交易日，将所有股票按照市值从小到大排序，买入市值最小的10只股票。持有接下来的一个月，到下个月底的时候，按照同样的规则，买入另外10只股票，如此往复。
20210524-中银国际-中银量化因子周报：本周多数因子发生反转，大市值与动量策略表现优秀.pdf
05-29
20210524-中银国际-中银量化因子周报：本周多数因子发生反转，大市值与动量策略表现优秀.pdf
Day25-Java基础之常用类1
m0_46053885的博客
04-27 875
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
链表刷题集
最新发布
yajunjiao的专栏
04-30 275
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
Lambda表达式特点
weixin_57763462的博客
04-24 791
**API 设计**：Lambda 表达式鼓励使用函数式接口的设计模式，这改变了 Java 库的设计，例如 `java.util.function` 包下的一系列函数式接口。- **函数式编程**：Lambda 表达式引入了函数式编程的理念，使得 Java 更接近于函数式编程语言，如 Scala 和 Clojure。- **并发编程**：Lambda 表达式与 Java 8 新增的 Stream API 结合使用，可以简化并发编程，特别是与集合的操作相关。
【简单介绍下机器学习之sklearn基础】
cz88888888666的博客
04-24 1164
🎈机器学习是一个用于构建预测模型的领域，Scikit-learn（简称sklearn）是Python中的一个开源机器学习库，它支持包括分类、回归、降维和聚类算法，并且集成了与这些算法相关的机器学习的不同任务的各种工具。
AttributeError: module ‘numpy‘ has no attribute ‘float‘.的解决方法
chen_znn的博客
04-30 311
本文记录了AttributeError: module 'numpy' has no attribute 'float'.的解决方法
Python 发送钉钉消息（markdown格式）
qq_43773590的博客
04-30 176
【代码】Python 发送钉钉消息（markdown格式）
Python 二叉树的创建与遍历
youyouxiong的博客
04-24 437
在Python中创建二叉树并进行遍历，我们首先需要定义一个二叉树节点类，然后创建二叉树，最后实现几种基本的遍历方法：前序、中序、后序和层序遍历。以下是具体的实现步骤： 2. 创建二叉树 创建二叉树通常是由用户根据需要输入节点值来构建，或者通过特定的算法生成。这里我们手动创建一个简单的二叉树： 3. 实现二叉树的遍历 前序遍历 (Preorder Traversal) 访问根节点，然后递归地遍历左子树，最后递归地遍历右子树。 中序遍历 (Inorder Traversal) 递归地遍历左子
PySide6 GUI 学习笔记——使用资源文件
Humbunklung的专栏
04-27 534
在界面开发中，我们常常将一些图片、图标等资源统一存放到资源文件中供使用，从而让图形界面表达能力更好，更加丰富，譬如带图标的按钮、菜单、窗口等等。PySide6可以将多个图标、图片等资源文件编译到.py文件中，这样可以被我们的程序直接调用，使得资源的管理更加方便。
python中的元类
weixin_40756114的博客
04-25 909
上面说了类是类的实例的模板，所以你看类的__new__被定义为一个绑定的类方法，类本身是作为方法的第一个参数，一般命名为cls，一般情况下，__new__不需要其他的参数，__new__根据cls来产生一个实例，__new__返回产生的实例，也有tuple等少数例外__new__需要额外的参数，绝大多数情况是不需要的。正如类是类的实例的工厂，元类则是类的工厂。不过这两种关系还是有所不同，类是类的实例的模版，但元类不是类的模版，元类更像一个纯粹的类的组装工厂。
笔记：Python 注释（练习题）
欢迎来到我的CSDN博客！在这里，我将分享关于技术、学习和生活的各种笔记和心得体会。无论你是正在学习编程、探索新技术，还是对生活中的点滴有所感悟，我都希望我的博客能够给你带来启发和帮助。
04-27 875
欢迎来到Python注释练习！在这个练习中，我们将探讨Python中注释的重要性和使用方法。注释在代码中扮演着关键的角色，不仅可以提高代码的可读性，还可以帮助其他人理解你的代码逻辑。通过这些练习，你将学习如何正确地编写注释，以及如何使用注释来解释代码的功能、逻辑和设计。无论你是新手还是有经验的Python开发人员，都可以从这些练习中受益。通过实践，你将更加熟悉Python注释的最佳实践，并且能够将其应用到自己的项目中。让我们开始吧！
因子投资市值因子排序
08-12
根据引用中的描述，市值因子是因子投资中的一个重要指标之一。市值因子考虑了股票的市值大小，用来衡量公司的规模。较大的市值通常被认为与相对较低的风险和较稳定的回报相关联。因此，在因子投资中，根据股票的市值大小进行排序是一种常见的策略。 引用中提到了高容量因子指数，这是一种考虑了因子暴露和股票自身市值大小的指数构建方法。这种方法可以使投资者在投资市值因子时获得更好的流动性和可行性。 因此，对市值因子进行排序时，可以考虑使用高容量因子指数或其他基于市值大小的排序方法。通过将股票按照市值从大到小进行排序，投资者可以选择在投资组合中包含市值较大的股票，以获得更稳定的回报和较低的风险。123 #### 引用[.reference_title] - *1* [量化投资中的因子逻辑与多因子选股的概念](https://blog.csdn.net/weixin_37726222/article/details/123281554)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *2* *3* [【笔记】因子投资：方法与实践](https://blog.csdn.net/food_for_thought/article/details/112965367)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值