第一步:找到内涵段子的请求数据链接,在谷歌浏览器中打开内涵段子,按F12进入开发者模式,点击Network,Network是记录与服务器之间进行的请求数据。
第二步:点击加载更多,在开发者模式下,点击name下的请求链接,即可找出本次的请求得到的json数据,以及请求头header信息,点击copy link address复制下请求链接。
第三步:找出网站的分页规律,对比两次的请求链接发现,只有max_time不同,找到它的取值方式,即取上一次请求数据中的max_time的值,做为下一次请求的值,从而实现分页。
http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time=1520982083
http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time=1520973233
第四部:通过无限迭代抓取数据,但