爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。
1.爬取照片的目标网址是:http://www.netbian.com/mei/index.htm
可以通过F12检查元素,之后用小箭头点击图片,找到我们需要爬取图片的位置。
2.向网站发送请求
利用 requests 库向网站发出请求,发送 get 请求就是通过 requests.get 来调用:
respone = requests.get("http://www.netbian.com/mei/index.htmt")
3.数据提取
添加headers和查询参数:如果想添加 headers,可以传入headers参数来增加请求头中的headers信息.