python爬虫请求网页时遇到问题
请求,如果对方有一定策略的反爬虫,那需要反反爬虫。比如:
header带上host,带上refer,带上其他;
需要验证,那就申请用户名和密码,然后登陆;
如果在登录时期有防跨站机制,那就先获取一次登录页面,然后解析出token,带上对应的token然后登陆;
在程序中加入Log,并且存到本地。防止出现各种各样的反爬虫机制ban掉了程序,从而方便进行下一步防反爬虫对策。
请求,如果对方有一定策略的反爬虫,那需要反反爬虫。比如:
header带上host,带上refer,带上其他;
需要验证,那就申请用户名和密码,然后登陆;
如果在登录时期有防跨站机制,那就先获取一次登录页面,然后解析出token,带上对应的token然后登陆;
在程序中加入Log,并且存到本地。防止出现各种各样的反爬虫机制ban掉了程序,从而方便进行下一步防反爬虫对策。