python请求头伪造和get和post请求

本文探讨了Python中如何进行反爬策略,包括伪造请求头、使用Time.sleep()随机延迟以及IP代理来应对反爬机制。详细介绍了get和post两种HTTP请求方法的应用。
摘要由CSDN通过智能技术生成

反爬
反反爬:
1.请求头伪造
2.多次采集数据 Time.sleep(random)
3.ip地址的代理(推荐

import urllib.request
from urllib import request
headers = {
   
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36"
}
url = "https://www.baidu.com"
response = request.Request(url=url,headers=headers)
resp = request.urlopen(response)
data = resp.read()
print(data)
with open("baidu.html","wb") as f:
f.write(data)
from urllib import request
import random
us = [
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50
(KHTML, like Gecko) Version/5.1 Safari/534.50"
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值