Python爬虫爬取淘宝商品信息

selenium库可以驱动浏览器自动进行页面的访问代码参考《Python3网络爬虫开发实战》崔庆才著)

1.驱动浏览器访问淘宝页面

browser=webdriver.Chrome()
wait=WebDriverWait(browser,10)
def search():
    try:
        url="https://www.taobao.com"
        browser.get(url)
        #获取输入框
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
        #获取确定按钮
        submit=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
        #在输入款输入关键词
        input.send_keys('美食')
        #点击确定
        submit.click()
        #获取当前商品的总页数
        total=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
        return total.text
    except:
        search()

2.登录模块

淘宝设置了登录后才可以查看商品信息,这对爬

  • 2
    点赞
  • 49
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值