使用selenium和ie9取一些指定网站的内容

最新推荐文章于 2024-05-19 23:58:40 发布

eastroc_liu

最新推荐文章于 2024-05-19 23:58:40 发布

阅读量251

点赞数

分类专栏：使用实例

本文链接：https://blog.csdn.net/eastroc_liu/article/details/103268616

版权

本文介绍了如何使用selenium库配合IE9浏览器来应对仅支持IE8或IE9、存在验证码和ajax数据传递的复杂网站进行内容抓取。在处理过程中，还涉及到对iframe框架的处理。

摘要由CSDN通过智能技术生成

门槛：
1.此网站只能用IE8或者ie9
2.有验证码
3.ajax的数据传递
4.当然也是很多iframe框架

上代码：
from selenium import webdriver
import time
from lxml import etree

class Xpspider(object):

def __init__(self):
    self.driver = webdriver.Ie(executable_path=r'C:\Program Files\Internet Explorer\IEDriverServer.exe')
    self.url = r'https://service.sharp.cn/'
    self.run()

def run(self):
    self.driver.get(self.url)
    source = self.driver.page_source
    self.login_page(source)

def login_page(self,source):
    time.sleep(3)
    textcode = input('请输入验证码！')  #等待把相关录入
    print('登录中，请等待...')
    self.driver.find_element_by_id("orgcd").send_keys("要录入机构代码")
    self.driver.find_elements_by_name('username')[0].send_keys('用户名')
    self.driver.find_element_by_id("password").send_keys("密码")
    self.driver.find_element_by_id(&