我想抓取这个网站,问题是它的动态加载。使用硒返回动态页面的html代码
基本上我想要什么,我可以从浏览器控制台中看到的,不是我所看到的,当我点击右键>节目源。
我已经尝试了一些硒的例子,但我不能让我的需要。下面的代码使用硒,并得到只有你点击右键 - >显示代码。我如何获取加载页面的内容?
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium import webdriver
import time
# Start the WebDriver and load the page
wd = webdriver.Firefox()
wd.get("https://www.leforem.be/particuliers/offres-emploi-recherche-par-criteres.html?exParfullText=&exPar_search_=true& exParGeographyEdi=true")
# Wait for the dynamically loaded elements to show up
time.sleep(5)
# And grab the page HTML source
html_page = wd.page_source
wd.quit()
# Now you can use html_page as you like
print(html_page)
2015-06-17
dkx22