# -*- coding: utf-8 -*-
"""
* DataSource : 天天基金网 (http://fund.eastmoney.com/161005.html?spm=search),利用网站提供的数据接口,实现基金净值查询,并做一些简单的分析。数据是否准确,分析是否到位
* @Date : 2020-09-29 10:19
* @Auth : xiaoshuai.zhu
* @File :Python 爬取基金历史净值数据.py
* @IDE :PyCharm
* @Version 1.0
"""
# ## 基金单位净值、累计净值
# 一般在每个工作日公布上一个工作日的净值,单位净值=总净资产/基金份额,可以简单理解为基金的价格。
# 因此,净值越高,一定程度上表示基金越“贵”,也有可能是基金经理人管理的好,在交易日买入基金的时候,如果是当天15点之前购入,那么按照当天的基金净值确认份额,购入份额=购买金额/当日基金净值;
# 如果是在当天15点之后购入,则按照下一工作日的基金净值确认份额。因为基金净值一般在第二个工作日(或者当天晚上)才公布,所以在买入基金的时候,是不知道买入确认的基金净值是多少,也就不知道买入的份额是多少,
# 累计净值就是基金净值加上过往分红,反映基金过往整体的收益情况。单位净值提供基金即时交易价格的参考,从基金业绩的角度看,累计净值是一个更重要的指标。
#
# ## 近期入手的基金
#
# 富国天惠成长混合A(前端:161005 后端:161006)
# 导入需要的模块
import requests
from bs4 import BeautifulSoup
import re
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
#指定默认字体
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'
#解决负号'-'显示为方块的问题
matplotlib.rcParams['axes.unicode_minus'] = False
# 抓取网页
def get_url(url, params=None, proxies=None):
rsp = requests.get(url, params=params, proxies=proxies)
rsp.raise_for_status()
return rsp.text
# 从网页抓取数据
def get_fund_data(code,per=10,sdate='',edate='',proxies=None):
url = 'http://fund.eastmoney.com/f10/F10DataApi.aspx'
params = {'type': 'lsjz', 'code': code, 'page':1,'per': per, 'sdate': sdate, 'edate': edate} # code:指明基金代码;sdate:数据开始日期;edate:数据结束日期;per:指定每页显示的条数,如果不指定该参数,则默认值为10,如果指定该参数值在1-49之间,则每页条数按照指定参数值显示,如果指定该值大于等于50,则每页显示20条;page:per指定了每页的显示条数,存在一页显示不完整的情况,该参数直接指定显示第几页
html = get_url(url, params, proxies)
soup = BeautifulSoup(html, 'html.parser')
# 获取总页数
pattern=re.compile(r'pages:(.*),')
result=re.search(pattern,html).group(1)
pages=int(result)
# 获取表头
heads = []
for head in soup.findAll("th"):
heads.append(head.contents[0])
# 数据存取列表
records = []
# 从第1页开始抓取所有页面数据
page=1
while page<=pages:
params = {'type': 'lsjz', 'code': code, 'page':page,'per': per, 'sdate': sdate, 'edate': edate}
html = get_url(url, params, proxies)
soup = BeautifulSoup(html, 'html.parser')
# 获取数据
for row in soup.findAll("tbody")[0].findAll("tr"):
row_records = []
for record in row.findAll('td'):
val = record.contents
# 处理空值
if val == []:
row_records.append(np.nan)
else:
row_records.append(val[0])
# 记录数据
records.append(row_records)
# 下一页
page=page+1
# 数据整理到dataframe
np_records = np.array(records)
data= pd.DataFrame()
for col,col_name in enumerate(heads):
data[col_name] = np_records[:,col]
return data
# 主程序
if __name__ == "__main__":
data=get_fund_data('161005',per=49,sdate='2020-09-24',edate='2020-09-30')
# 修改数据类型
data['净值日期']=pd.to_datetime(data['净值日期'],format='%Y/%m/%d')
data['单位净值']= data['单位净值'].astype(float)
data['累计净值']=data['累计净值'].astype(float)
data['日增长率']=data['日增长率'].str.strip('%').astype(float)
# 按照日期升序排序并重建索引
data=data.sort_values(by='净值日期',axis=0,ascending=True).reset_index(drop=True)
print(data)
# 获取净值日期、单位净值、累计净值、日增长率等数据并
net_value_date = data['净值日期']
net_asset_value = data['单位净值']
accumulative_net_value=data['累计净值']
daily_growth_rate = data['日增长率']
# 作基金净值图
fig = plt.figure()
#坐标轴1
ax1 = fig.add_subplot(111)
ax1.plot(net_value_date,net_asset_value)
ax1.plot(net_value_date,accumulative_net_value)
ax1.set_ylabel('净值数据')
ax1.set_xlabel('日期')
plt.legend(loc='upper left')
#坐标轴2
ax2 = ax1.twinx()
ax2.plot(net_value_date,daily_growth_rate,'r')
ax2.set_ylabel('日增长率(%)')
plt.legend(loc='upper right')
plt.title('基金净值数据')
plt.show()
# 绘制分红配送信息图
bonus = accumulative_net_value-net_asset_value
plt.figure()
plt.plot(net_value_date,bonus)
plt.xlabel('日期')
plt.ylabel('累计净值-单位净值')
plt.title('基金“分红”信息')
plt.show()
# 日增长率分析
print('日增长率缺失:',sum(np.isnan(daily_growth_rate)))
print('日增长率为正的天数:',sum(daily_growth_rate>0))
print('日增长率为负(包含0)的天数:',sum(daily_growth_rate<=0))
运行预览