![8e692e2c5f539ee750a0790f809548f2.png](https://i-blog.csdnimg.cn/blog_migrate/5df1bfd9d0f7dc973db73c1ff1741dab.png)
最近做一项工作,需要自动化登录某个网站并实现爬虫,在此总结分享一下相关的技术。
环境准备
首先我们需要安装python环境,chrome浏览器,selenium包和chromedriver。前两者较为基础,就不多赘述了。下载selenium包在命令行里pip install selenium即可。对于chromedriver,首先在在chrome的设置里查看自己的chrome版本:
![5a3746549112b0c481a20979654bdf8f.png](https://i-blog.csdnimg.cn/blog_migrate/e3b1512e570ca55d88642d30f955505e.jpeg)
然后前往网站http://chromedriver.storage.googleapis.com/index.html,找到与你的chrome版本对应的chromedriver的版本,比如我的就是87.0.4280.88。
![faa7b5b1449bfd27e4bc030abcd45169.png](https://i-blog.csdnimg.cn/blog_migrate/cb79136ab3494fe733a098ca29df9757.jpeg)
下载解压后将解压出的chromedriver.exe文件放在python的安装目录下,如下图所示,这样就完成了selenium+chromedriver的配置,接下来我们就可以编写代码完成自动化登录了。
![cdc7b7501f9880e79589abf8b49fc75c.png](https://i-blog.csdnimg.cn/blog_migrate/1800f35d6c648a8cce30bd2352b41b76.jpeg)
基础知识
Selenium是ThoughtWorks专门为Web应用而开发的自动化测试工具, 适合进行功能测试、验收测试,同时支持所有基于web的管理任务自动化。主要功能包括:测试与浏览器的兼容性,测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能,创建回归测试检验软件功能和用户需求。
首先介绍一些编写代码所需的基础知识
- 网页html代码
HTML称为超文本标记语言,是一种标记语言。它包括一系列标签.通过这些标签可以将网络上的文档格式统一,使分散的Internet资源连接为一个逻辑整体。它的整体结构如下图所示。
![4dad5b40f74e500bda4e4ef21d8b16d9.png](https://i-blog.csdnimg.cn/blog_migrate/df63462a710cf72ff5e0aeb9d97f3a5f.png)
一个示例的HTML代码如下所示:
<!DOCTYPE html>
<html>
<head>
<title>我的网页</title>
</head>
<