爬虫的一些内容

爬虫的一些内容

学习的哔哩哔哩上路飞学诚IT老师的视频
视频链接

1：一个反爬虫
当请求的内容返回：***你的访问出错了,用户您好，我们的系统检测到您网络中存在异常访问请求。此验证码用于确认这些请求是您的正常行为而不是自动程序发出的，需要您协助验证。***

这时需要加入header{“User-Agent”:"…"}

2:重新封装参数
当我们复制的url网页链接中有参数，处理的方法是：将链接中问号之后的删除包括问号， 再重新封装参数，该参数在查询字符串参数中
param={
“type”: “24”,
“interval_id”: “100:90”,
“action”:"",
#一般该网页往下拉更新start就会变数据，例如0-20-40-60
“start”: 0,
“limit”: 20
}