爬虫复习总结

from urllib import request
import urllib
import re
from http import cookiejar

#1.爬虫入门程序：调度器，url管理器，下载器，解析器，应用
#定义url
url='http://www.taobao.com'
#定义请求
req=request.Request(url)
#下载页面
resp=request.urlopen(req)#使用的是默认下载器
print(resp.read().decode('utf-8'))

#2.添加请求头
#定义url
url='http://www.taobao.com'
#定义请求头
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}
#定义请求
req=request.Request(url,headers=header)
#下载页面
resp=request.urlopen(req)
print(resp.read().decode('utf-8'))

#3.添加请求数据
#定义url
url='http://www.taobao.com'
#定义请求头
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KH