使用urlopren()分分钟拔下一个网页
例子
# -*- coding:utf-8 -*-
#导入request
from urllib import request
#打开网页
response=request.urlopen("http://www.umei.cc/meinvtupian/xingganmeinv/")
html=response.read().deconde("utf-8")
print(html)
直接用urllib.request模块的urlopen()获取页面数据格式为bytes类型,需要decode()解码,转换成str类型。
urlopen返回对象提供方法:
- read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作
- info():返回HTTPMessage对象,表示远程服务器返回的头信息
- getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到
- geturl():返回请求的url
使用urlretrieve()分分钟下载图片
比如我们要下载这个网页里面的这张图片
# -*- coding:utf-8 -*-
from urllib import request
#图片url地址
imgurl="http://i1.umei.cc/uploads/tu/201709/9999/62bb166433.jpg"
request.urlretrieve(imgurl,filename="美女.jpg")
urlretrieve函数需要传入两个参数,一个是图片的url,一个是文件保存的路径,二是设置局对路径例如(D:\xxxx\xxxx\xxx.jpg)如果不设置就默认保存在python文件执行的路径下
最简单的爬虫就是这样的啦!