在处理这个问题的场景:
1、目标抓取中药的方剂数据库。
1、从第一个页面http://dbcenter.cintcm.com/cms/点击资源分类-->中药-->中国方剂数据库。
2、进入到http://cowork.cintcm.com/engine/search?channelid=37595这个中药方剂的数据列表中。
3、读取http://cowork.cintcm.com/engine/search?channelid=37595中的内容,发现读出来的html内容是需要登录的。
4、然而我又没有帐号密码,我从第一个页面点击进去,数据可以取到,那么它的cookie 或者session 应该可以一用。
5、于是我就开始尝试用网站中的cookie值来获取数据。