爬虫实战之selenium爬取京东电商数据

  • 基本原理:
    • 主要利用selenium进行提取页面信息并不断点击下一页
    • 代码如下:
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2020/06/16 23:37:06
# @File    : 爬取京东电商数据.py
# @Sortware: Vsc

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

def spider(url, keyword):
    driver = webdriver.Chrome()
    # 输入京东地址
    driver.get(url)
    # 定位输入框
    input_tag = driver.find_element_by_id('key')
    # 模拟键盘输入关键字
    input_tag.send_keys(keyword)
    # 键盘操作
    input_tag.send_keys(Keys.ENTER)
    # 等待
    time.sleep(5)
    get_goods(driver)

def get_goods(driver):
    # 查找多个节点
    goods = driver.find_elements_by_class_name('gl-item')
    for good in goods:
        # 链接
        link = good.find_element_by_tag_name('a').get_attribute('href')
        # 名字
        name = good.find_element_by_class_name('p-name em').text.replace('\n', '')
        # 价格
        price = good.find_element_by_class_name('p-price i').text
        # 评论
        commit = good.find_element_by_class_name('p-commit a').text
        # 格式化
        msg = '''
            商品:%s
            链接:%s
            价格:%s
            评论:%s
        ''' %(name, link, price, commit)
        print(msg)
        
    # 点击下一页,通过定位超链接上面的文本元素
    button = driver.find_element_by_partial_link_text('下一页').click()
    time.sleep(2)
    # 再次调用函数,不断循环
    get_goods(driver)

spider('https://www.jd.com/', keyword='口罩')
  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值