用Python selenium实现自动化网页抓取器_提取网页可被点击元素 python

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1、首先介绍一下 **Python selenium —****自动化测试工具，**用来控制浏览器来对网页的操作，在爬虫中与BeautifulSoup结合那就是天衣无缝，除去国外的一些变态的验证网页，对于图片验证码我有自己写的破解图片验证码的源代码，成功率在85%。

2、beautifulsoup就不需要详细的介绍了，直接上网址-https://www.crummy.com/software/BeautifulSoup/bs4/doc/（BeautifulSoup的官方文档）

3、关于mongodb的自动id的生成。mongodb中所有的存储数据都是有固定的id的，但是mongodb的id对于人类来讲是复杂的，对于机器来讲是小菜一碟的，所以在存入数据的同时，我习惯用新id来对每一条数据的负责！

在Python中使用mongodb的话需要引进模块from pymongo import MongoClient,ASCENDING, DESCENDING ，该模块就是你的责任！

接下来开始讲程序，直接上实例（一步一步来）：

引入模块：

其中的每一个模块都会说已经解释过了，其中的re、requests都是之前就有提过的，他们都是核心缺一不可！

首先，我举一个小例子，淘宝的自动模拟搜索功能（源码）：

先说一下selenium 的定位方法

find_element_by_id

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

源码：

效果的实现，你们可以直接复制后直接运行！我只用了xpath的这个方法，因为它最实在！橙色字体（如果我没有色盲的话），就是网页中定位的元素，可以找到的！

接下来就是与BeautifulSoup的结合了，但是我们看到的只是打开了网页，并没有源码，那么就需要 “变量名.page_source”这个方法，他会实现你的梦想，你懂得?

下面就是BeautifulSoup的一些语法操作了，对于数据的结构还有采集，在上一篇里面有详细的抓取操作！！！

算了！说一个最简单的定位抓取：

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

486d4c3ab8389e65ecb71ac0)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！