爬虫基础学习

# 爬虫学习 导入网络请求第三方模块
import requests

r = requests.get('https://www.baidu.com')
# print(r.headers)
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}
# 豆瓣会检查是否为正常用户访问，若不是则禁止访问       没有请求头
# 模拟构造headers请求头信息 主要是一些浏览对象信息
r1 = requests.get('https://www.douban.com', headers=headers)
# print(r1)
# 传参
kw = {
    'wd': 'python'
}
r2 = requests.get('https://www.baidu.com', params=kw)
print(r2)

//返回unicode格式数据

print(r2.text)
//返回字节流数据
print(r2.content)

//返回完整的url地址

print(r1.url)
//返回响应头部的字节编码

# 手动设置编码格式
r2.encoding = 'utf-8'

print(r2.encoding)
//返回状态码
print(r1.status_code)