python requests模拟浏览器_python爬虫——requests模拟登入，模拟登入豆瓣

1.下载抓包神器fiddler

fiddler官网：fiddler下载，通常情况下下载fiddler2版本，一直Next就可以下载成功了。

2.登入你想爬取的界面(用ie浏览器)

如用ie登入进豆瓣：http://www.douban.com/"

这时打开你的fiddler

1.

2.

3.

找到cookie后代码模拟登入

#-*_coding:utf-8-*-

import requests

reload(__import__('sys')).setdefaultencoding('utf-8')#打印为中文

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}#构造头部

cook={"Cookie":'ll="118205"; _ga=GA1.2.740277333.1448884744; _gat=1; bid="iu5QJoQtotc"; ps=y; '}#cookie有改动，大家用自己的cookie就好

url="http://www.douban.com/"

html=requests.get(url,cookies=cook,headers=headers).content#get中提交url,COOKIE,headers

print html

拿到网页源代码后就是用正则，用xpath,用美味汤抓数据了。模拟登入还是很简单的吧

爬淘宝数据cookie

有兴趣的话可以参考下爬取天猫cookie，感谢社区中的大神回答。

小結：

总的来说，用cookie实现模拟登入就是慢，而且页面爬多了还容易被封ip。总之，假如想爬取海量资源，还需进阶，什么分布式，多线程慢慢学吧。