from urllib.request import Request,urlopen,build_opener
from fake_useragent import UserAgent
import requests
url = 'https://www.meishij.net/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
1.urllib请求
request = Request(url,headers = headers) # 使用urlopen之前需要将url和请求数据处理为一个对象
response = urlopen(request)
print(response) # 返回一个对象
运行结果:<http.client.HTTPResponse object at 0x0322AE50>
code = response.read().decode() #提取数据前要使用read()方法读取对象中的数据,用decode方法将其转换为str格式
print(code)
2.request请求
response = requests.get(url,headers=headers) # 使用requests进行请求时,直接调用requests.get()即可
print(response) # 返回请求状态
运行结果:<Response [200]>
print(response.text) # text可以直接获取网页的文本 不需要进行转换处理