要求
1.了解ajax加载
2.通过chrome的开发者工具,监控网络请求,并分析
3.用selenium完成爬虫
4.实现:用selenium爬取https://news.qq.com/ 的热点精选,热点精选至少爬50个出来,存储成 csv 每一行如下 标号(从1开始),标题,链接,…(前三个为必做,后面内容可以自己加)
import time
from selenium import webdriver
driver = webdriver.Chrome(executable_path='D:\Anaconda\Scripts\chromedriver.exe')
driver.get("https://news.qq.com")
#使用ajax加载
for i in range(1,100):
time.sleep(2)
driver.execute_script("window.scrollTo(window.scrollX, %d);"%(i*