【Python爬虫】模拟进入京东首页输入手机进行搜索,并爬取搜索出来的手机信息(可自动进入下一页)

昨天爬取了第一页的手机信息之后,想着能不能只模拟浏览器进入京东首页,然后通过自动输入手机,然后搜索出商品网页,然后自动进行爬取,而且不仅仅爬取第一页,实现自动翻页,爬取。然后,在各种找资料和多次调试后,得到了下面这个代码。由于我暂时还没有学数据库,所以在下面的代码中,并没有把所有的手机信息全部爬取,只是爬取了四个网页,存入Excel表中。上代码:

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import workbook
import time
from selenium.webdriver.common.keys import Keys

def search_goods(s):
    #找到搜索栏,并且输入需要搜索的商品
    driver.find_element_by_class_name('text').send_keys(s)

    #模拟键盘回车事件
    driver.find_element_by_class_name('button').send_keys(Keys.ENTER)

def getinfo():
    #获取全局变量
    global flag
    global sign

    # 模拟下滑到页面底部
    for i in range(1,5):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
        time.sleep(1)

    #接受获取到的内容
    soup = BeautifulSoup(driver.page_source,'lxml')
    goods_list 
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值