一、使用python爬取百度http://www.baidu.com
首页需要多长时间呢?
使用以下代码测试
import requests
import datetime #导入一个时间库,用于获取时间,
url="http://www.baidu.com"
starttime=datetime.datetime.now()#记录下开始运行到这一句的时间,设为开始时间
for i in range(100):
r=requests.get(url)
endtime=datetime.datetime.now()#记录下运行到这一句的时间,设为结束时间
print(endtime-starttime)#输出时间差,就是爬取100次需要的时间了
二、爬取照片
import requests
import os#导入一个新包,对文件进行操作
url="http://b-ssl.duitang.com/uploads/item/201208/30/20120830173930_PBfJE.jpeg"
root="G://zhaopian//"#给定照片的地址
path=root+url.split('/')[-1]#获取照片原有的名字做为保存到自己电脑上的文件名
try:
if not os.path.exists(root):#这个文件夹不存在,
os.mkdir(root)#创建这一个文件
if not os.path.exists(path):#这一个文件不存在
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print("保存成功")
else:
print("文件已存在")
except:
print("爬取失败")