import requests
path="D:/abc.jpg"//C盘为系统盘,无法写入数据
url="http://staticresource.liuxue315.cn/images/school/70.jpg"
r=requests.get(url)
r.status
with open(path,'wb') as f:
f.write(r.content)
f.close()
首先导入requests库,定义path(打开一个非系统盘文件),url为网页中的图片地址,requests.get()获取url链接中的元素。
其中r.status为爬取结果的状态码,代表爬取是否成功。
>>> def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding#网页的编码方式
return r.text
except:
return "产生异常"
>>> if _name_=="_main_":
url="http://www.baidu.com"
print(getHTMLText(url))#打印网页源码
函数类型实例,当数据返回超时后显示"产生异常"
>>> kv={'wd':'python'}
>>>r=requests.get("http://www.baidu.com/s",params=kv)
比如百度等可输入跳转类的网页,可以通过定义对象,指定跳转网页,并爬取相关内容。每个网页各不相同,应根据实际情况来自由定义。