学习用python写爬虫有几天了,下面写一个小爬虫验证下学习成果吧。 本文适合小白食用,各位大佬您就图个乐~
Tip:本文仅供学习与交流,切勿用于非法用途!!!
一、网页分析
爬取贝壳网石家庄二手房信息,先打开链接 https://sjz.ke.com/ershoufang/
。
如果大家在学习中遇到困难,想找一个python学习交流环境,可以加入我们的python圈,裙号930900780,可领取python学习资料,会节约很多时间,减少很多遇到的难题。
不添加筛选条件,发现总共有42817套房子。我们点击第二页,再查看链接变成了https://sjz.ke.com/ershoufang/pg2/
。所以,可发现/pg{i}
,i就是页码。经过体育老师教授的数学,数了一下,一页30个,最多可选100页。 所以最多可爬取3000套房产信息,距离上面给出的4万多差的还很远,于是尝试把
pg{i}
的那个i人为改变一下,点击回车请求一下。
https://sjz.ke.com/ershoufang/pg200/
https://sjz.ke.com/ershoufang/pg300/
发现这两个请求,返回房产信息数据都一样。都是第100页的信息,于是乎,得出结论。通过贝壳网web端,查看某一条件下的房产信息,最多可以查看3000套
。害,最多才能买3000套,有钱花不出去的感觉真难受啊~ 逃:)~~
所以呢