1.页面分析
此次我们获取数据的网站是东方财富网!首先我们按F12打开开发者模式,对name里面的网页进行观察,找到数据存在的网页,发现数据是以jQuery加载进网页的,每次加载20个数据,如图:
至此我们找到了单页网页的数据及地址,接下来我们继续打开第二页,找到每页之间的关系,整理后我们发现第一页的pn值等于1,第二页的pn值等于2:
所以我们构建URL时,只需用for循环让params参数中的pn值变为可变动的值,那么这样的话我们都可以对里面的每一页发起请求进而获取他们的值,代码如下:
for page in range(1,50):
params = (
('cb', 'jQuery1124031167968836399784_1615878909521'),
('pn', str(page)),
('pz', '20'),
('po