今天展示的是python爬虫
爬虫(又称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更经常的称为网页追逐者);它是一种按照一定的规则,自动地抓取网络信息的程序或者脚本。
如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,他们沿着蜘蛛网抓取自己想要的猎物/数据。
那么今天就用python抓取bing的网页图片
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦!建议爬虫使用requests
import requests
url = "https://api.github.com/events"
获取某个网页
import requests
r = requests.get("https://api.github.com/events")
print(r) # <Response [200]>
print(type(r)) # <class 'requests.models.Response'>
print(r.status_code) # 200
抓取图片后会把图片保存到代码对应的文件夹内
以下是代码:
import requests
bing_url = "https://cn.bing.com"
api_url = bing_url+"/HPImageArchive.aspx?format=js&idx=0&n=1"
response = requests.get(api_url)
json_data = response.json() # 返回的是json数据
image_url = bing_url+json_data["images"][0]["url"] # 找到图片对应的url
response = requests.get(image_url)
with open("bing_image.jpg", "wb") as f:
f.write(response.content)
以下是运行结果:
更多内容请关注作者,我会按时更新的哦!!!