一、是什么selenium
selenium是一个功能强大的Python库,用几行代码就能控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作一样。遇到验证码很复杂的网站时,selenium允许让人去手动输入验证码,然后把剩下的操作交给浏览器。
用html写出的静态网页源代码中包含了页面所有信息,因此地址栏的URL就是网页源代码的URL。用json存储的数据不在HTML源代码中,就不能直接使用网址栏的URL,需要在【headers】中找到json数据的真实URL。不论数据存在哪里,当这些请求完成后,会一起在开发者工具的Elements中展示。在遇到页面交互复杂或是URL加密逻辑复杂的情况时,selenium可以真实地打开一个浏览器,等待所有数据都加载到Elements中之后,再把这个网页当做静态网页爬取。
用selenium写的脚本,让浏览器自动打开网页,然后输入文字,点击提交按钮: