python selenium获取body_python3爬虫-通过selenium获取到dj商品

最新推荐文章于 2023-03-15 15:13:09 发布

weixin_39907762

最新推荐文章于 2023-03-15 15:13:09 发布

阅读量541

点赞数

文章标签： python selenium获取body

本文介绍了如何利用Python的Selenium库爬取京东网站的商品信息，包括商品名称、价格、评价数量和店铺名称。通过设置浏览器选项进行无头模式浏览，遍历搜索结果并滚动页面加载更多商品，最后将数据保存为JSON格式。

摘要由CSDN通过智能技术生成

from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.common.keys importKeysfrom selenium.webdriver.support.wait importWebDriverWaitfrom selenium.webdriver.support importexpected_conditions as ECfrom selenium.webdriver.chrome.options importOptionsfrom selenium.common.exceptions importNoSuchElementExceptionfrom lxml importetreeimporttime, json

JD_URL_Login= "https://www.jd.com/"

classCustomizeException(Exception):def __init__(self, status, msg):

self.status=status

self.msg=msgclassJD:def __init__(self):

self.browser=None

self.__init_browser()def __init_browser(self):

options=Options()

options.add_argument("--headless")

options.add_experimental_option('excludeSwitches', ['enable-automation'])#设置为无图模式

options.add_experimental_option("prefs", {"profile.managed_def