HTTP请求

注：HTTP请求是爬虫第一步，即

• 第一步：获取目标网页的源代码。
• 第二步：解析源代码。

#可用的方法有urllib2/lrllib(python内置模块)和Requests库（第三方库）
#这里我主要以requests进行学习
import requests
import chardet

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
headers = {'User-Agent':user_agent}#这里在构造请求头,伪装自己
r = requests.get('http://www.baidu.com',headers=headers)

print(chardet.detect(r.content))#打印出 r 的编码格式
r.encoding=chardet.detect(r.content )['encoding']
print(r.content)
# print(r.text)
if r.status_code==requests.codes.ok:
    print(r.status_code)#打印状态码
    print(r.headers)
    print(r.headers.get('content_type'))
else:
    r.raise_for_status()

print('\n')
print('--------------这是分界线-------------')
#遍历出所有的cookie字段的值
for cookie in r.cookies.keys():
    print(cookie+':'+r.cookies.get(cookie))

print(chardet.detect(r.content))
输出打印效果的效果

#遍历出所有的cookie字段的值
for cookie in r.cookies.keys():
    print(cookie+':'+r.cookies.get(cookie))

打印输出结果