今天给大家分享一个综合了数据采集、处理、分析、可视化、接口调用等技术点的项目。
一、说点东西
老早就想搞个基金监控机器人了,方便自己查看自己关注基金的各种指数涨跌情况,及时进行止损或者止盈,今天我们先建楼基,手把手带大家实现一个基金查询机器人,目前主要可以查询基金指定日期段数据和查看基金净值走势图,后面慢慢新增功能。
二、开始动手动脑
2.1 环境准备
-
Linux、Mac、Windows 都可以
-
python 3.7及以上
-
相关第三方包:pandas(数据处理)、requests(爬取数据)、re(文本内容解析)、akshare(获取基金股票数据)、matplotlib(数据可视化)、dataframe-image(dataframe表格转成图片)
最近整理了一套编程学习资料分享给大家,全是干货内容,包含教程视频、电子书、源码笔记、学习路线图、实战项目、面试题等等,关注gzh【Python编程学习圈】就能免费获取,回复关键词【学习资料】即可,抓紧时间吧!
2.2 获取指定日期段基金数据
基金数据可以从一些金融相关的网站获取到,比如天天基金网、新浪基金网等,可以自己写爬虫程序获取网站数据,也可以使用现成的工具包获取数据,比如之前介绍过的 tushare
和akshare
等库。
这里我们同时介绍下两种方法:
2.2.1 回顾下akshare获取基金数据
目前akshare不支持获取指定日期范围内的基金净值数据,但是可以一次获取到基金历史净值数据,调用函数fund_em_open_fund_info
获取基金历史数据,然后自己根据日期选取时间段进行分析。
import akshare as ak
fund_data = ak.fund_em_open_fund_info(fund='005827', indicator='单位净值走势')
print(fund_data)
2.2.2 自己调用现成数据接口
本质上akshare也是从一些金融相关的网站获取到数据,我们也可以自己写代码进行获取,通过浏览器我们很快能搜索到基金数据接口,来自东方财富的天天基金网。
f'http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code={code}&page={page}&sdate={start_date}&edate={end_date}&per={per}'
code - 基金代码
page - 基金数据页码
start_date - 数据开始日期
end_date - 数据结束日期
per - 每页展现数据量,最多40
根据指定参数,浏览器会返回指定参数,一段js赋值代码,包括了 基金数据(content)、总记录条数(records)、总页数(pages)、当前页数(curpage)。
格式非常规整,我们可以直接通过正则提取数据,
'''
获取单页面 基金数据
'''
def get_html(code, start_date, end_date, page=1, per=40):
url = f'http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code={code}&page={page}&sdate={start_date}&edate={end_date}&per={per}'
# print(url)
rsp = requests.get(url)
html = rsp.text
return html
通过返回的数据可以发现,基金数据部分是一个由table标签包裹的html代码,那我们可以直接使用pandas的read_html来解析数据。
# 从html中解析出数据表部分 并解析成df
def parses_table(html):
# 获取基金数据表
pattern = 'content:"<table(.*)</table>",'
table = re.search(pattern, html).group(1)
table = '<table' + table + '</table>'
fund_data = pd.read_html(table)[0]
return fund_data
前面有提到,基金数据接口返回数据每页最多展示40条,所以要想获取所有数据,我们可能需要遍历每一页,那么我们还需要通过正则将总页数pages
获取到,然后遍历调用get_html
和parses_table
函数解析出所有数据。
# 获取指定日期内 累计净值 等数据
def get_fund_data(code, start_date, end_date):
first_page = get_html(code, start_date, end_date)
# 获取总页数
pattern = 'pages:(.*),'
pages = re.search(pattern, first_page).group(1)
# 转成int数据
try:
pages = int(pages)
except Exception as e:
r = f'【错误信息】{e}'
# print(r)
return r
# 存放每页获取到的基金数据 dataframe格式 便于后面合并
fund_df_list = []
# 循环便利所有页面
for i in range(pages):
if i == 0:
fund_data = parses_table(first_page)
else:
page_html = get_html(code, start_date, end_date, page=i+1)
fund_data = parses_table(page_html)
fund_df_list.append(fund_data)
# 将每页的数据合并到一起
fund_df = pd.concat(fund_df_list)
return fund_df
上面两种方法都可以获取到基金净值数据,最后我选择了akshare
方式获取,设置一个定时任务,每天三点更新自己关注的基金所有数据,存储到本地,后面要查询的时候直接读取本地文件查询即可。
-
定时任务:每天早上3点获取所有关注的基金历史数据,存储到本地
# 定时任务:每天早上3点获取所有关注的基金历史数据,存储到本地
def get_all():
try:
# 从文件读取 自己关注的基金代码列表
with open('./FD/funds.txt') as f:
funds = [i.strip() for i in f.readlines()]
# 遍历 一个个更新数据
for fund in funds:
fund_df = ak.fund_em_open_fund_info(fund, indicator='单位净值走势')
fund_df = fund_df.sort_values(by=['净值日期'], ascending=False)
fund_df.to_csv(f"./FD/DATA/F{fund}_data.csv", index=False)
# print(f"./FD/DATA/F{fund}_data.csv")
time.sleep(random.randint(1,5))
return '基金数据更新完成'
except Exception as e:
r = f"【错误信息】{e}"
return r
-
获取指定基金 指定日期段 净值数据
# 获取指定基金 指定日期段 净值数据
def get_fund_data(fund, start_d, end_d):
fund_df = pd.read_csv(f'./FD/DATA/{fund}_data.csv')
result_df = fund_df.query(f"'{start_d}'<=净值日期<='{end_d}'")
return result_df
2.3 返回数据呈现方式
目前先简单点,设置规则如下:
-
1)如果数据量小于等于30条,就返回原始数据图
原始数据图
就是直接将获取到的数据转成图片的方式发送给用户,这里我们使用dataframe-image
这个第三方包,使用非常简单,pip安装后,直接调用export
函数即可快速将datafrmae数据转成图片。
# 将dtaframe表格转变成图片
def df_to_img(fund_df, fund, start_d, end_d):
if fund_df.shape[0] <=1:
dfi.export(fund_df, f'./FD/IMG/{fund}_{start_d}_{end_d}_data.png')
return
# 格式化表格 凸显最大最小值
fund_df = fund_df.style.highlight_max(subset=['单位净值'], color='red')\
.highlight_min(subset=['单位净值'], color='green')\
.format({'日增长率': '{:}%'})
dfi.export(fund_df, f'./FD/IMG/{fund}_{start_d}_{end_d}_data.png')
为了图片数据更好看,我们还使用了df.style
设置数据表格样式(单位净值最大值、最小值高亮和日增长率添加百分号)。
-
2)如果数据量大于30条,就返回原始数据趋势图
原始数据趋势图
就是将数据可视化下,然后返回给用户,这里我们选择绘制数据的走(趋)势图,使用matplotlib
进行绘制。
# 绘制基金单位净值走势图
def draw_fund_line(fund_df, fund, start_d, end_d):
plt.rcParams['figure.figsize'] = (8.0, 4.0) # 设置figure_size尺寸
plt.rcParams['savefig.dpi'] = 300 #保存图片分辨率
# 不显示右、上边框
ax=plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
# 设置坐标网格
plt.grid(axis="y", color='gray')
# 计算最大值 最小值坐标 并标注到图中
fund_max = fund_df.loc[fund_df['单位净值'].idxmax()]
fund_min = fund_df.loc[fund_df['单位净值'].idxmin()]
ax.annotate(f'({fund_max[0]},{fund_max[1]})', xy=(fund_max[0], fund_max[1]), color='red')
ax.annotate(f'({fund_min[0]},{fund_min[1]})', xy=(fund_min[0], fund_min[1]), color='green')
# 画图
plt.plot(fund_df['净值日期'],fund_df['单位净值'], color="c")
plt.title('基金单位净值走势图')
plt.xticks(rotation=30)
plt.xlabel('净值日期')
plt.ylabel('单位净值')
plt.savefig(f'./FD/IMG/{fund}_{start_d}_{end_d}_data.png')
这里使用的是折线图,有一些对图片样式的设置,比如:大小、边框、最大/小值标注,但依然不是很美观,后面继续优化。
-
完整调用
# 返回数据
def response_data(fund, start_d, end_d):
# 本地查看 查询结果是否已存在
imgs = os.listdir('./FD/IMG/')
if f'{fund}_{start_d}_{end_d}_data.png' in imgs:
return f'./FD/IMG/{fund}_{start_d}_{end_d}_data.png'
# 获取数据
fund_df = get_fund_data(fund, start_d, end_d)
# 如果数据量小于等于30条,就返回原始数据图
if fund_df.shape[0]<= 30:
df_to_img(fund_df, fund, start_d, end_d)
else:
# 否则返回数据趋势图
fund_df = fund_df.sort_values(by=['净值日期'])
draw_fund_line(fund_df, fund, start_d, end_d)
return f'./FD/IMG/{fund}_{start_d}_{end_d}_data.png'
2.4 对接钉钉机器人设置守护程序
目前项目对接了两种机器人:钉钉群机器人和企业机器人,相关配置方法因篇幅原因这里不展开介绍。
钉钉群机器人主要用来汇报每天自动汇报基金数据更新情况,后面还可以加基金涨跌检测情况等。
企业机器人主要用来做基金数据查询自动回复功能,也可以拓展主动发消息给用户。
2.5 最终效果图
-
指定查询
查看某基金某个时间段内的基金净值数据。(30条以内数据,表格展示;大于30条,趋势图展示)
查询格式: F基金代码 起始日期 结束日期,如:F005827 2021-12-03 2022-02-10
效果图
-
普通查询
查看某基金近10天内净值和日增长率数据+趋势图
查询格式: F基金代码,如:F005827
最近10天内,只有两个交易日
三、后言后语
这项目说大不大,说小也不小,百行代码。目前基金监测机器人还比较简陋,甚至都没有监测功能(目前只支持数据查询和更新),但是这个楼基很稳、很深,后面添加其他功能会简单、便捷许多,欢迎大家评论区留言,说说你想为这个机器人添加的功能。完整代码在下个版本文章发布时一起分享出来,还请耐心等待。