python selenium 停止加载_爬虫(六)——Selenium自动控制浏览器

一、是什么selenium

selenium是一个功能强大的Python库,用几行代码就能控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作一样。遇到验证码很复杂的网站时,selenium允许让人去手动输入验证码,然后把剩下的操作交给浏览器。

用html写出的静态网页源代码中包含了页面所有信息,因此地址栏的URL就是网页源代码的URL。用json存储的数据不在HTML源代码中,就不能直接使用网址栏的URL,需要在【headers】中找到json数据的真实URL。不论数据存在哪里,当这些请求完成后,会一起在开发者工具的Elements中展示。在遇到页面交互复杂或是URL加密逻辑复杂的情况时,selenium可以真实地打开一个浏览器,等待所有数据都加载到Elements中之后,再把这个网页当做静态网页爬取。

fecb91a1e3a517e58adeb9f06d781985.png

用selenium写的脚本,让浏览器自动打开网页,然后输入文字,点击提交按钮:

01bdbb81fffd29844b9cbd398ea6247c.gif

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值