from selenium import webdriver
from scrapy.selector import Selector
import time
#1、selenium获取页面元素
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")
# browser.get("https://item.taobao.com/item.htm?spm=a310p.7395725.1998460392.1.ffca6c0NXDhB5&id=549869514793") #运行浏览器
# page_source = browser.page_source #相当于“浏览器f12”,普通爬虫获取的源码是相当于直接获取网页源码,所以js动态添加的内容不会被获取到,但是通过这种方式f12,会获取到js动态添加的
# t_selector = Selector(text=page_source)#页面元素提取能用scrapy尽量用,不能用在用selenium,因为scrapy速度更快
# print(t_selector.css('#J_PromoPriceNum::text').extract_first()) #获取页面js动态添加上去的价格
# browser.quit()
#2、selenium模拟知乎登陆
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")
# browser.get("https://www.zhihu.com/#signin")
# browser.find_element_by_css_selector('.signin-switch-password').click() #点击使用密码登陆
# browser.
selenium集成到scrapy
最新推荐文章于 2024-06-21 01:47:21 发布