昨天爬取了第一页的手机信息之后,想着能不能只模拟浏览器进入京东首页,然后通过自动输入手机,然后搜索出商品网页,然后自动进行爬取,而且不仅仅爬取第一页,实现自动翻页,爬取。然后,在各种找资料和多次调试后,得到了下面这个代码。由于我暂时还没有学数据库,所以在下面的代码中,并没有把所有的手机信息全部爬取,只是爬取了四个网页,存入Excel表中。上代码:
from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import workbook
import time
from selenium.webdriver.common.keys import Keys
def search_goods(s):
#找到搜索栏,并且输入需要搜索的商品
driver.find_element_by_class_name('text').send_keys(s)
#模拟键盘回车事件
driver.find_element_by_class_name('button').send_keys(Keys.ENTER)
def getinfo():
#获取全局变量
global flag
global sign
# 模拟下滑到页面底部
for i in range(1,5):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
time.sleep(1)
#接受获取到的内容
soup = BeautifulSoup(driver.page_source,'lxml')
goods_list