from selenium import webdriver
from selenium.common.exceptions import TimeoutException
import time,socket,re
socket.setdefaulttimeout(150)
opts=webdriver.ChromeOptions()
opts.binary_location="C:\Program Files\Google\Chrome\Application\chrome.exe"
browser=webdriver.Chrome(chrome_options=opts)
print("!!! change the flash settings")
time.sleep(90)
# http://movie.zzb.nj
try:
browser.get("http://movie.zzb.nj/?s=vod-play-id-3534-sid-0-pid-1.html")
except:
print("e getpage timeout.")
try:
flashObjectWrap=browser.find_elements_by_class_name("player")
print(flashObjectWrap)
tempString=flashObjectWrap[0].get_attribute('innerHTML')
print(tempString)
try:
p_start=re.compile("<object")
p_end=re.compile("<\/object>")
m_start=p_start.search(tempString)
m_end=p_end.search(tempString)
objectString=tempString[m_start.start():m_end.end()]
except:
print("e find html error.")
except:
print("e can\'t find.")
browser.close()
上边的网址是我瞎编的,不要当真。我要爬的那个网页还有一个问题就是,即使用浏览器打开,他也是一直在那转圈,始终加载不完,只能设个超时。chrome默认是不支持播放flash的,想播放,要去settings中搜flash,你会看到相关的设置。对version 66来说就只有那一项需要设置,把想看的网站添加到“允许”列表即可。但是,程序通过selenium打开的chrome选项卡是不带这些配置的,也就是禁止一切flash。我又陷入了迷茫。搜了一圈chrome 带参数运行而无果之后,我突然想到,selenium在启动chrome以后已经有图形界面了,那个时候在他加载网页之前自己手动把flash相关的设置设好不就可以了?想到这我真实无语啊,程序都编成这样,还自动加手动去搞。我是应该表扬自己“灵活”,还是感叹自己学艺不精。
print("!!! change the flash settings")
time.sleep(90)
这两行就是干那事的。
在
browser.find_elements_by_class_name("player")
的过程中,程序会运行很慢,不知道是不是因为那个网站始终无法加载完成的原因。总之这里也得等,60s是不够的,我通过几次运行估计需要2分钟左右。而且这一步的运行时间受第5行timeout的时间限制,所以timeout设的不能小于120.这也是奇怪啊,搞来搞去,这个程序转一圈都需要4分钟。反正又到晚上了,让他慢慢转去吧,我已经没心情折腾了。
==========================================
以上是昨天写的.今天一大早起床又有新想法:我把html页面携带的变量值和我已经定位到生成object的javascript文件一起放到新页面不是也可以运行吗?试了一下,可以.这么说前两天还是走了弯路.