模拟网页点击爬虫交管12123违章数据!违章信息及时处理!(1)

time.sleep(1) #加载等待

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[4]/div/label/input”).click()#勾选

time.sleep(1) #加载等待

填入验证码

elem = driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[3]/div/input”)

elem.clear()

elem.send_keys(str(yanzhengma))

time.sleep(1) #加载等待

print(“正在登陆”)

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[5]/button”).click()#点击

点击违法查询,设置查询时间

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[5]/button”).click()#点击

time.sleep(3) #加载等待

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/ul/li[5]/a”).click()#点击违法查询

time.sleep(1) #加载等待

driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[1]/div/div[1]/span/i”).click()#点击选择日期

for i in range(3):

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[4]/table/thead/tr/th[1]/i”).click()#点击

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[4]/table/tbody/tr/td/span[1]”).click()#点击

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[3]/table/tbody/tr[2]/td[1]”).click()#点击

循环依次查询每个车牌违章信息,每次都需要清空上次输入,填写本次查询车牌,识别有多少条数据,共多少页,每页最多展示10条,最后一页有多少条数据

for ii in range(0,nrows):

rowValues= table.row_values(ii) #某一行数据

print(‘正在读取第’+str(ii+1)+‘辆车’)

填写车牌

time.sleep(0.5) #加载等待

elem = driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[3]/div/input”)

elem.clear()

elem.send_keys(rowValues)#输入车牌

time.sleep(0.1) #加载等待

driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[4]/button”).click()#点击查询

time.sleep(0.5) #加载等待

result=driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[2]/div[1]/div/p/span”).text#总违章条数

result=int(result)

a=math.ceil(result/10)#总页数

b=result%10 #除余

读取列表中的数据,其中扣分和罚款需要点击"查看详情",从弹窗中读取数据’

result1=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[1]”))).text

result2=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[2]”))).text

result3=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[3]”))).text

result4=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[4]”))).text

result5=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[5]”))).text

result6=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[6]”))).text

result7=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[7]”))).text

WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[8]/a”))).click()#查看详情,打开弹窗

time.sleep(1) #加载等待

result8=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//form[@class=‘form-horizontal’]/div[7]/span[2]”))).text

result9=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//form[@class=‘form-horizontal’]/div[8]/span[2]”))).text

result=[result1,result2,result3,result4,result5,result6,result7,result8,result9]

R.append(result)

WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//div[@class=‘modal-footer ui_modal’]/button”))).click()#关闭弹窗

time.sleep(0.5) #加载等待

每读取一辆车的数据就写入表格中

with open(wenjian,‘w’,encoding=‘utf-8’,newline=‘’) as fp:

writer = csv.writer(fp)

writer.writerows® #写入数据

完整代码

from selenium import webdriver

import time

import csv

import datetime

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.wait import WebDriverWait

import math

import xlrd

data = xlrd.open_workbook(‘cheliang.xlsx’)

table = data.sheets()[0]

nrows = table.nrows #行数

ncols = table.ncols #列数

opt = webdriver.ChromeOptions() #创建浏览

#opt.set_headless() #无窗口模式

driver = webdriver.Chrome(options=opt) #创建浏览器对象

driver.maximize_window() #最大化窗口

print(“正在打开网页”)

driver.get(‘’) #打开网页

time.sleep(3) #加载等待

print(“点击单位登录”)

time.sleep(3) #加载等待

driver.find_element_by_xpath(“/html/body/div[1]/div[2]/div/div[2]/div[2]/button”).click()#点击单位登录

time.sleep(3) #加载等待

print(“正在填写账号”)

elem = driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[1]/div/input”)

清空原有内容

elem.clear()

填入账号

elem.send_keys(“”)

time.sleep(1) #加载等待

print(“正在填写密码”)

elem = driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[2]/div/input”)

清空原有内容

elem.clear()

填入密码

elem.send_keys(“”)

time.sleep(1) #加载等待

print(“正在查看验证码”)

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[3]/div/input”).click()#查看验证码

print(“请输入验证码”)

yanzhengma=input()

time.sleep(1) #加载等待

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[4]/div/label/input”).click()#勾选

time.sleep(1) #加载等待

填入验证码

elem = driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[3]/div/input”)

elem.clear()

elem.send_keys(str(yanzhengma))

time.sleep(1) #加载等待

print(“正在登陆”)

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/div/div[2]/form[1]/div[5]/button”).click()#点击

time.sleep(3) #加载等待

driver.find_element_by_xpath(“/html/body/div[4]/div/div[1]/ul/li[5]/a”).click()#点击违法查询

time.sleep(1) #加载等待

driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[1]/div/div[1]/span/i”).click()#点击选择日期

for i in range(3):

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[4]/table/thead/tr/th[1]/i”).click()#点击

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[4]/table/tbody/tr/td/span[1]”).click()#点击

time.sleep(0.5) #加载等待

driver.find_element_by_xpath(“/html/body/div[6]/div[3]/table/tbody/tr[2]/td[1]”).click()#点击

wenjian=datetime.datetime.now().strftime(‘%Y-%m-%d-%H%M%S’) #以开始时间作为数据导出的表格文件名

wenjian=wenjian+‘.csv’

R=[]

for ii in range(0,nrows):

rowValues= table.row_values(ii) #某一行数据

print(‘正在读取第’+str(ii+1)+‘辆车’)

填写车牌

time.sleep(0.5) #加载等待

elem = driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[3]/div/input”)

elem.clear()

elem.send_keys(rowValues)#输入车牌

time.sleep(0.1) #加载等待

driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[1]/div[2]/form/div[4]/button”).click()#点击查询

time.sleep(0.5) #加载等待

result=driver.find_element_by_xpath(“/html/body/div[3]/div/div[2]/div[2]/div[1]/div/p/span”).text#总违章条数

result=int(result)

a=math.ceil(result/10)#总页数

b=result%10 #除余

for i in range(1,a):

for j in range(1,11):

result1=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[1]”))).text

result2=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[2]”))).text

result3=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[3]”))).text

result4=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[4]”))).text

result5=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[5]”))).text

result6=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[6]”))).text

result7=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[7]”))).text

#result1=driver.find_element_by_xpath(“//table[@id=‘my-msg-list’]/tbody/tr[”+str(j)+“]/td[1]”).text
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里无偿获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值