python-selenium爬虫
使用selenium驱动进行爬虫
onesalatree
你很懒,还没有添加简介。
展开
-
Selenium如何点击<a>标签直接跳转网页
这次白嫖一次博客吧,分享一个简单的最近在使用Selenium爬取学校官网自己大学三年每年的成绩的时候,遇到了一个问题,就是如何点击 a 标签直接跳转网页,原来自己的解决办法是,拿到 a 标签当中的链接属性,构造新的链接进行跳转,现在感觉太麻烦,阅览了很多大佬的博客后,得到了以下的代码方法driver.find_element_by_link_text('a标签的名字').click()#或...原创 2020-03-22 21:41:46 · 13423 阅读 · 2 评论 -
Selenium——爬取自己大学三年所有的成绩保存在数据库(排序完心理有底了满满的全是回忆)
Selenium——爬取自己大学三年所有的成绩保存在数据库(心理有底了????)时间过得真是快,不知道怎么自己就已经大三了,最近班里又开始收集每个同学的大三一年的成绩上报学校,突然感觉这疫情一过去了学校就已经大四了,马上就要面对社会找工作成长为一个大人了,哎…就想的趁这个机会把自己大学所有的成绩都爬取下来放入数据库,看看自己大学三年到底学的怎么样,分析一下,还有一年的时间,自己一定要加油哇!!!本人...原创 2020-03-19 21:17:39 · 834 阅读 · 1 评论 -
再爬拉钩,直接忽略反爬!Selenium+Xpath+re 可见可爬
再爬拉钩,直接忽略反爬!Selenium+Xpath+re 可见可爬之前我写过一篇博python成功爬取拉勾网——初识反爬(一个小白真实的爬取路程,内容有点小多)这是我第一次对具有多种反爬措施的网站进行的爬取,之前爬取的大都是简单的定点静态网页爬取(练习简单的python网络爬虫库的使用),所以遇到了一大波挫折,看了很多大佬的博客后才勉强解决,当然现在已经可以很好的理解拉钩数据加载的方式(Aja...原创 2020-03-09 15:32:58 · 598 阅读 · 0 评论