大家好,我是小一
今天的文章来自于朋友圈,发现大家对于基金报告的爬取也挺感兴趣,于是就抽时间复现了一下
爬虫的整体思路比较简单,代码量甚至都没有基金分析那篇的多,很适合入门的朋友参考学习
另外,这篇文章可能介绍的比较细,大家酌情加速阅读
注:文末可获取本节所有源码
正文
目标:通过天天基金网爬取基金历史季度报告,下载对应的季度报告到本地 pdf 文件
首先,登录天天基金网,进入基金季度报告页面
我这里直接选近一年收益率最高的基金为对象:创金合信工业周期股票A,基金代码:005968
报告页面长这样:
对应的,点击 基金公告菜单的定期报告选项 可以看到所有的季度报告
可以看到此时的 url 链接变成了下面这种:
http://fundf10.eastmoney.com/jjgg_005968_3.html
这个 url 我们通过 前缀+基金代码+后缀 可以直接构造
对于任意的基金报告,只需要改动基金代码就能直接定位到基金报告页。
http://fundf10.eastmoney.com/jjgg_ + 基金代码 + _3.html
另外可以发现,005968 的基金报告是有两页。
调出 F12 窗口,在点击下一页的时候可以发现动态请求的链接
http://api.fund.eastmoney.com/f10/JJGG?callback=jQuery18304948864684189589_1613722337855&fundcode=005968&pageIndex=2&pageSize=20&type=3&_=1613723166954
前面的参数例如:funcode、pageIndex 等表示基金代码、页码等,都可以理解,但是最后一个参数有点奇怪:“&_=1613723166954”
如果删了这个参数或者随便改一个值,出来的结果是这样的:
通过多次测试,发现这个参数值会根据时间发生变化,但是又不是简单的时间戳格式
大胆盲猜一下,这个参数应该是平台对应的反爬参数,如果能破解这个参数的生成规则,那么今天的目标就很容易搞定
花了点时间多研究了一下,发现没有很明显的规则,暂时决定放弃。
这个参数确实比较重要,有兴趣的可以研究下平台的生成规则,
ok,通过接口的方案获取数据暂时行不通,那就换种方式:selenium
关于 selenium 的使用在老早的一篇文章中就有说过,我还特意去看了一下,发现当时写的巨详细,墙裂推荐:小白学爬虫-进阶-selenium 获取数据
所以,下面是文章的重点:通过 selenium 爬取数据
老规矩,先说流程:
进入季度报页面,获取翻页页面进行循环
循环体中执行以下两个操作
解析当前页的内容,保存页面数据
点击下一页
遍历所有数据,筛选报告中的季度报
调用下载函数,下载对应的基金报告,保存 pdf 在本地
具体的,在解析每一页的内容时,可拿到 基金报告的标题、下载链接、发布时间 等
流程不难,代码操作也比较简单,往下看
1. 构造基金报告页 url
很简单,两句话
code = '005968'
url = 'http://fundf10.eastmoney.com/jjgg_{0}_3.html'.format(code)
2. 初始化 selenium
为了方便使用,直接封装在函数里面
具体代码如下:
from selenium import webdriver
def init_selenium():
"""
初始化 selenium
@return:
"""
executable_path = "D:\software\install\chromedriver_win32\chromedriver.exe"
# 设置不弹窗显示
# chrome_options = Options()
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
# browser = webdriver.Chrome(chrome_options=chrome_options, executable_path=executable_path)
browser = webdriver.Chrome(executable_path=executable_path)
return browser
运行之前需要手动改一下自己的 chromedriver.exe 的本地路径,前面的文章有详细教程:小白学爬虫-进阶-selenium 获取数据
3. 获取报告页码
如图所示,4 个 label 标签分别对应:上一页、1、2、下一页,页码为 2
所以:页码即为 label 的长度-2
具体页码的获取通过 BeautifulSoup 对页面进行解析即可
browser.get(url)
content = browser.page_source
soup = BeautifulSoup(content, 'html.parser')
# 获取页码数
soup_pages = soup.find_all('div', class_='pagebtns')[0].find_all('label')
page_size = len(soup_pages)-2
4. 获取页面内容
页面内容中主要包括:报告标题、报告文件链接和公告日期
需要注意的是,部分报告的文件下载链接为空,需要特殊处理
部分报告文件是报告摘要,需要过滤掉
具体代码如下:
list_result = []
"""获取内容"""
soup_tbody = soup.find_all('table', class_='w782 comm jjgg')[0].find_all('tbody')[0]
for soup_tr in soup_tbody.find_all('tr'):
soup_a = soup_tr.find_all('td')[0].find_all('a')
title = soup_a[0].get_text()
# 文件下载链接为空的处理
if len(soup_a) == 2:
link = soup_a[1].get('href')
else:
link = None
date_str = soup_tr.find_all('td')[2].get_text()
if title.endswith("报告"):
list_result.append([title, link, date_str])
df_result = pd.DataFrame(list_result, columns=['报告标题', '报告pdf链接', '公告日期'])
5. 翻页操作
翻页操作在 selenium 中操作非常方便,定位+点击
对应的需要先确定翻页的按钮,也就是对应的页码 1/2/3/4 等,然后调用 click 函数
具体代码如下:
# 点击下一页按钮
browser.find_element_by_xpath("//div[@class='pagebtns']/label["+str(index+2)+"]").click()
time.sleep(random.randint(5, 10))
非常建议大家在每一个翻页中设置合适的休眠时间
上次基金的文章开源之后,可能有人把休眠时间去掉了,短时间内频繁爬取,导致官方做了反爬
还是建议大家理性爬数据,善待每一个目标网站。
6. 下载文件
上上一步已经拿到了每一个基金报告的标题和链接,直接遍历下载即可
下载 pdf 文件直接使用 requests 即可
具体代码如下:
import requests
# 设置下载路径
file_path = os.path.join(dirpath, title + '.pdf')
# 下载文件
res = requests.get(link)
with open(file_path, 'wb') as f:
f.write(res.content)
ok,具体的流程和代码已经介绍完毕
正常情况下,你的代码点击运行后自动打开 chrome 浏览器:
同时,编译器终端会是这样的:
下载后的基金季度报告文件是这样的:
以上就是本次爬虫的所有内容
最后的最后,还是建议大家理性爬数据,在每一个翻页中设置合适的休眠时间,善待每一个目标网站
另外,本着互相学习、交流思路的目的,本节所有代码开源
点击 下方公众号,在对话框回复:基金报告 即可获取所有源码
代码开源的目的主要是互相学习、交流思路
比如有更好的方法爬取基金报告数据的,也都可以一起交流讨论
说个小小的拓展,对于基金季度报 pdf 文件,可以通过 Python 对收益情况、业绩表现、投资情况等做一个更细致的对比分析
往期文章
我是小一,坚持向暮光所走的人,终将成为耀眼的存在!
期待你的 三连!我们下节见