python爬虫之代理与模拟登入

使用request 模块得到的相应是bytes或str类型字符串
在post请求中需要data参数时，从浏览器的headers中的from data中
在浏览器中找url及相关参数时，gif图片不用去看
在用request 模块进行代理时，诺url是http,代理也是http,url是https,代理也是https,

几个常用代理：码农很忙，米扑代理，免费的代理ip有的快有的慢，有的无效，要想提前检查ip的有效性，使用request要添加超时参数，或者使用一些在线ip监测网站

|

在使用session发送post请求，cookies保存在其中，这一步，session.post(…), 也可以把cookies从headers中拿出来，成为get()中的一个参数：cookies=cookies(字典类型) 通常在session.post()这一步没必要接受响应，因为只需要保存cookies就可以了

被反爬虫的我：