Python爬虫获取JSESSIONID登录网站

最新推荐文章于 2023-01-29 10:40:36 发布

weixin_34221073

最新推荐文章于 2023-01-29 10:40:36 发布

阅读量5.5k

点赞数 2

文章标签： python 爬虫

原文链接：http://blog.51cto.com/hhuayuan/1619513

版权

在Python爬虫中处理需要登录的网站时，可以通过分析浏览器调试器中的信息来模拟登录。登录数据通常包括JSESSIONID，它是Tomcat服务器创建会话时生成的标识。如果JSESSIONID固定，可以直接使用urllib2库结合Cookie登录；若JSESSIONID动态变化，则需先获取当前会话的ID再进行登录操作。

摘要由CSDN通过智能技术生成

在使用Python对一些网站的数据进行采集时，经常会遇到需要登录的情况。这些情况下，使用FireFox等浏览器登录时，自带的调试器（快捷键F12）就可以看到登录的时候网页向服务器提交的信息，把这部分信息提取出来就可以利用Python 的 urllib2 库结合Cookie进行模拟登录然后采集数据，如以下代码：

#coding=utf-8
import urllib
import urllib2
import httplib
import cookielib
url = 'http://www.xxx.net/'
cookie = cookielib.CookieJar()
cj=urllib2.HTTPCookieProcessor(cookie)
#设置登录参数，使用浏览器的调试器等抓包工具得到
postdata=urllib.urlencode({'JSESSIONID':'1F616774D9548C1E8AF12A65B470B663', 'username':'admin','password':'admin'})
#生成请求
request=urllib2.Request(url, postdata)
#设置代理
request.set_proxy('xx.xx.xx.xx:xx','http')

#登录
opener=urllib2.build_op