工作之余抽点时间出来写写博文,希望对新接触的朋友有帮助。今天在这里和大家一起学习一下元素图片
用python量批下载一个网页中的图片,要需用到扩展库来析解html代码。有三种法方,一是用微软供给的扩展库win32com来操纵IE,二是用selenium的webdriver,三是用python自带的HTMLParser析解。win32com可以获得相似js面里的document对象,不过是只读的(文档都没找到)。selenium则供给了Chrome,IE,FireFox等的支撑,每种浏览器都有execute_script和find_element_by_xx法方,可以便方的执行js本脚(括包修改元素)和取读html面里的元素。缺乏是selenium只供给对python2.6和2.7的支撑。HTMLParser则是要需自己写个类继承基类,重写析解元素的法方。个人感觉selenium用起来更便方,很轻易操纵html里的元素。
代码如下:
win32com:
View Code
#将滚动条滑到底,最多滑动20000像素#模拟盘键键右,查看多张图片
importsysimportwin32com.client,win32apiimporturllib.requestimporttimeimportosdefmain():#获得参数
url=sys.argv[1]#操纵IE
ie=win32com.client.Dispatch("InternetExplorer.Application")
ie.Navigate(url)
ie.Visible=True
last_url=''dir_name=''
while last_url!=url:print('\nThe URL is:',url,'\n')while ie.ReadyState != 4:
time.sleep(1)while ie.Document.readyState != "complete":
time.sleep(1)#滑动滚动条
win=ie.Document.parentWindow
lastY=-1;for i in range(40):
win.scrollTo(0,500*i)
nowY=win.pageYOffsetif(nowY==lastY):breaklastY=nowY
time.sleep(0.4)print('Document load state:',ie.Document.readyState)
doc=ie.Document#第一次要需创建目录
if(dir_name==''):
root_dir='E:\\img'dir_name=root_dir+'\\'+doc.title
dir_name=dir_name.replace('|','-')if(os.path.exists(root_dir)!=True):
os.mkdir(root_dir)if(os.path.exists(dir_name)!=True):
os.mkdir(dir_name)
all_image=doc.imagesprint('共有',all_image.length,'张图片')
count=0;for img inall_image:if(img.id=='b_img'):
count=count+1
print(count,img.src)
time.sleep(1)
img_file=urllib.request.urlopen(img.src)
byte=img_file.read()print(count,'donwload complete!','-'*10,'size:','{:.3}'.format(byte.__len__()/1024),'KB')if(byte.__len__()>7000):
file_name=img.src.replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]
write_file=open(dir_name+'\\'+file_name,'wb')
write_file.write(byte)
write_file.close()print(count,file_name,'complete!')#下一张
last_url=url
win32api.keybd_event(39,0)
time.sleep(1)
url=ie.Document.urlprint(last_url,url)#ie.Quit()
if __name__ == '__main__':
main()
selenium:
每日一道理
成熟是一种明亮而不刺眼的光辉,一种圆润而不腻耳的音响,一种不要需对别人察颜观色的从容,一种终于停止了向周围申诉求告的大气,一种不理会哄闹的微笑,一种洗刷了偏激的淡漠,一种无须声张的厚实,一种并不陡峭的高度。
View Code
#-*- coding: cp936 -*-
importsysimporturllibimporttimeimportosfrom selenium importwebdriverdefmain():#获得参数
url=sys.argv[1]#操纵IE
driver=webdriver.Chrome()
driver.get(url)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")#创建目录
dir_name=driver.find_element_by_tag_name('title').textprintdir_name
root_dir='E:\\img'dir_name=root_dir+'\\'+dir_name
dir_name=dir_name.replace('|','-')if(os.path.exists(root_dir)!=True):
os.mkdir(root_dir)if(os.path.exists(dir_name)!=True):
os.mkdir(dir_name)
images=driver.find_elements_by_tag_name('img')
count=0for image inimages:
count=count+1image_url=str(image.get_attribute('src'))
img_file=urllib.urlopen(image_url)
byte=img_file.read()print count,'donwload complete!','-'*10,'size:',byte.__len__()/1024,'KB'
if(byte.__len__()>7000):
file_name=image_url.replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]
write_file=open(dir_name+'\\'+file_name,'wb')
write_file.write(byte)
write_file.close()print count,file_name,'complete!'driver.quit()if __name__ == '__main__':
main()
HTMLParser:
View Code
#import modules used here -- sys is a very standard one
importsysimporturllib.request#Gather our code in a main() function
from html.parser importHTMLParserclassMyHTMLParser(HTMLParser):defhandle_starttag(self,tag,attrs):if(tag=='img'):for attr inattrs:if(attr[0]=='src'):
img_file=urllib.request.urlopen(attr[1])
byte=img_file.read()#件文大于1000b则成生件文,加添数计,下载多少图片,示显html代码
if(byte.__len__()>1000):
file_name=attr[1].replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]## print(file_name)
write_file=open('E:\\img\\'+file_name,'wb')
write_file.write(byte)
write_file.close()defmain():#获得参数
url=sys.argv[1]print('\nThe URL is:',url,'\n')#取读url所指向的资源
html_file=urllib.request.urlopen(url)
byte_content=html_file.read()#将html网页保存起来
url_file=open('E:\\img\\html\\result.htm','wb')
url_file.write(byte_content)
url_file.close()#从字节转换为字符串
s=str(byte_content, encoding = "utf-8")#print(s)
#bytes.decode(html_file.read())
parser=MyHTMLParser(strict=False)
parser.feed(s)#Standard boilerplate to call the main() function to begin#the program.
if __name__ == '__main__':
main()
文章结束给大家分享下程序员的一些笑话语录: 联想——对内高价,补贴对外倾销的伟大“民族”企业。