selenium爬虫入门简单实例(获取对分易习题)

最新推荐文章于 2024-08-14 20:52:57 发布

-朝汐-

最新推荐文章于 2024-08-14 20:52:57 发布

阅读量5.9k

点赞数 1

分类专栏： python 文章标签： python selenium 爬虫

本文链接：https://blog.csdn.net/weixin_40679158/article/details/92984363

版权

python 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

selenium爬虫是一种比较实用的爬虫手段，对于量比较小的数据，selenium相对于其他爬虫方法更加简单、实用。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time
# help(webdriver)
 
browser = webdriver.Chrome(executable_path="E:\learning\chromedriver.exe")
browser.get("https://www.duifene.com/Home.aspx")
#隐式等待
browser.implicitly_wait(10)
 
 
#主页登录
browser.find_element_by_id('btnLogin').click()
browser.find_element_by_id('topLogin_tbLoginName').send_keys('你的账号')
browser.find_element_by_id('topLogin_tbPassword').send_keys('你的密码')
browser.find_element_by_class_name('btnlogin').click()
 
# 点击在线练习
# #加入睡眠时间，防止元素未加载导致无法找到的情况
time.sleep(5)
#模拟鼠标悬停,selenium无法操作不可见的区域
show_btn=browser.find_elements_by_class_name('panel')[0]
ActionChains(browser).move_to_element(show_btn).perform()
op=browser.find_elements_by_class_name('divBlock')[7]
op.click()
 
#循环每个章节，获取内容
time.sleep(5)
chaps=browser.find_elements_by_class_name('score')
print('章节数为：%s' % str(len(chaps)))
length=len(chaps)
for i in range(length):
    # time.sleep(5)
    #滚动页面，使元素始终位于可见位置
    js='window.scrollTo(0,'+str(i*75)+')'
    browser.execute_script(js)
    chaps = browser.find_elements_by_class_name('score')
    chaps[i].click()
    paperName=browser.find_element_by_id('paperName').text
    allIndex=int(browser.find_element_by_id('allIndex').text)
    print(paperName)
    for j in range(allIndex):
        #获取题目
        js1='window.scrollTo(0,document.body.clientHeight)'
        browser.execute_script(js1)
        title=browser.find_element_by_id('divSubjectName').text
        print("%d.%s" %(j+1,title))
        #获取选项及答案
        items=browser.find_element_by_id('divSubjectItem').text
        print(items)
        if j==allIndex-1:
            break
        next=browser.find_element_by_id('next').click()
    #print('url:%s name:%s' %(browser.current_url,browser.name))
    browser.back()
    time.sleep(5)
 
#关闭
browser.close()