python
文章平均质量分 79
chufazhe
这个作者很懒,什么都没留下…
展开
-
使用Selenium+firefox抓取网页指定firefox_profile后的问题
摘要:在使用selenium和firefox抓取网页指定firefox_profile后遇到问题,生成的日志文件太大直接导致C盘资源耗尽,火狐浏览器直接就停止工作了。一、环境windows2008 server(尴尬,C盘空间还剧小)python 3.4selenium + firefox二、代码情况利用selenium 调用Firefox内核爬取网站原创 2016-04-13 18:53:06 · 3820 阅读 · 0 评论 -
北理工本科生管理系统成绩查询爬虫
1. 缘起有学弟问起如何抓取js动态加载的网页,具体的场景就是北理工本科生管理系统的菜单栏都是需要鼠标放置到上面才会出现下拉菜单。我当时推荐用python的selenium包调PhantomJS去加载,通过move_to_element模拟鼠标移动到网页元素的过程。结果学弟试过之后发现下拉菜单并没有出现,我当时怀疑是因为教务处的破系统只能需要IE内核才能用的原因,于是决定自己试试,对比了一原创 2016-09-19 21:04:15 · 1514 阅读 · 0 评论