本文介绍了如何处理需要登录才能访问的网页数据抓取问题。在尝试抓取中药方剂数据库时，发现数据列表页面需要登录。通过观察发现，从首页进入时可能已携带必要的Cookie或Session信息。因此，作者提出利用这些Cookie值来尝试获取受保护的网页内容，以实现无账号密码的抓取。
在处理这个问题的场景：
1、目标抓取中药的方剂数据库。
1、从第一个页面http://dbcenter.cintcm.com/cms/点击资源分类-->中药-->中国方剂数据库。
2、进入到http://cowork.cintcm.com/engine/search?channelid=37595这个中药方剂的数据列表中。
3、读取http://cowork.cintcm.com/engine/search?channelid=37595中的内容，发现读出来的html内容是需要登录的。
4、然而我又没有帐号密码，我从第一个页面点击进去，数据可以取到，那么它的cookie 或者session 应该可以一用。
5、于是我就开始尝试用网站中的cookie值来获取数据。
最低0.47元/天 解锁文章
2026
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
