Python爬虫实战，selenium模拟登录，Python实现抓取商品数据

小雁子学Python

已于 2022-08-13 13:23:51 修改

阅读量865

点赞数 5

分类专栏： Python技术分享文章标签： python 爬虫 selenium 模拟登录京东

于 2022-08-13 09:10:15 首次发布

本文链接：https://blog.csdn.net/weixin_43649691/article/details/126314779

版权

前言

今天为大家带来利用Python模拟登录商品数据抓取，废话不多说。

Let’s start happily

开发工具

**Python版本： **3.6.4

相关模块：

selenium模块

time模块

requests模块

lxml模块

csv模块

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

思路分析

本文以爬虫抓取商品，讲解如何爬取模拟登录抓取商品数据

1.获取页面信息

class JdSpider(object):
    def __init__(self):
        self.i = 0
        self.url = "https://www.jd.com"
        self.browser = webdriver.Chrome(r"C:/python-3.9.6-embed-amd64/Application/chromedriver.exe")

2.获取页面信息 --到具体商品页面

def get_html(self):
        # self.browser.set_window_size(1200, 800)         # 控制浏览器大小
        # self.browser.back()                           # 浏览器后退
        # self.browser.forward()                        # 浏览器前进

        self.browser.get