嘉兴市人才网即时招聘栏目Ajax动态翻页爬虫练习

声明:代码仅供技术学习交流，不作其他用途

即时招聘:https://www.jxrsrc.com/Index/MoreInfo.aspx?TypeID=34
打开页面后拉到底下点下一页翻页发现浏览器中的地址没有发生变化，分析后这个网站是用ASP.NET，并且采用AJAX动态刷新。所以真正的动态页面地址需要通过开发者工具分析查找，F12打开开发者工具或者鼠标右键检查元素。

上图划红线的Ruquest URL就是真实的请求地址，并且请求方法是POST方法

我们看到上面Form Data里的参数是实际页面的参数，分别是页码，关键字和类型ID，请求头就是上方的内容。

import requests
from lxml import html
import time
import random
#下面的url就是实际地址
url = "https://www.jxrsrc.com/Index/Ashx/MoreInfo2.ashx"

cookie = "ASP.NET_SessionId=r2rwx4rzl4xu11e3s5131qjn; ASPSESSIONIDSGCDABQQ=GHDEIGBAJIGFIFHNICDEPCGF; Hm_lvt_8779a80c84018cd39c87c4dd911d90ba=1603981533,1604155293,160441