Python基础爬虫入门

Request发送get请求： 

import requests

# 模拟浏览器构造headers请求：
headers = {
  'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}
# # 通过requests模拟发送网络请求
# r = requests.get('https://www.douban.com',headers=headers)
# User-Agent :是正常的浏览器访问还是脚本在访问

# 构建参数的字典

kw = {
  'wd':'python'
}
# 除了url地址可以快速传参，其他的参数都需要使用关键字传参
r = requests.get('http://www.baidu.com/s?',params=kw,headers=headers)
r.encoding = 'utf-8'
print(r.text)

'''
   查看响应的文本内容 response.text
   查看字节流数据（图片，音频，视频）：response.content
   查看url完整地址:response.url
   查看响应码：response.status_code
   查看编码：response.encoding
'''

Request发送post请求：

# post(url, data, json, args)

data = {
  'wd':'python'
}
content = requests.post('https://httpbin.org/',data=data)
content.encoding = 'utf-8'
print(content)