网络爬虫:http协议:建立请求,服务器响应,响应内容,判断状态判断;接受内容。提取内容;关闭网络。
urrlib requests
1.导入模块
import urllib
import urllib.request
import requests
2.构建基本参数
url = 'http://zy.imau.edu.cn'
#其他参数基本字典格式
parmesan= {'page':2}
headers = {'User-Agent':Mozilla/5.0(Windows NT 6.1)AppleWebkit/537.36}
cookies = {}
proxy = {}
3.请求处理
try:
#发送请求
opener=urllib.request.FancyURLopener()
opener.open()
response=urllib.request.urlopen(url)
#响应内容
if response.getcode()==200:
pass
else:
print('响应失败')
except Exception as e:
print(e)
pass