淘宝抢购代码selenium

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from bs4 import BeautifulSoup
from json import dumps


browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
KEYWORD = 'iPad'

def index_page(page):
    """
    抓取当前页面
    """
    print("正在爬取第", page, "页")
    try:
        url = 'https://s.taobao.com/search?q={}'.format(KEYWORD)
        browser.get(url)
        if page > 1:
            input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager div.form > input')))
            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager div.form > span.btn.J_Submit')))
            input.clear()
            input.send_keys(page)
            submit.click()
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager li.item.active > span'), str(page)))
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item')))
        get_products()
    except TimeoutException:
        index_page(page)


def get_products():
    """
    美味汤提取宝贝信息
    """
    html = browser.page_source
    soup = BeautifulSoup(html, 'html.parser')
    html_list = soup.find('div', {'class': 'm-itemlist'}).find_all('div', {'data-category': 'auctions'})
    product_list = []
    for sub in html_list:
        product = {
            '图片': sub.find('div', {'class': 'pic'}).img['src'],
            '价格': sub.find('div', {'class': 'price g_price g_price-highlight'}).get_text().strip(),
            '付款人数': sub.find('div', {'class': 'deal-cnt'}).get_text(),
            '标题': sub.find('div', {'class': 'row row-2 title'}).get_text().strip(),
            '商铺': sub.find('div', {'class': 'shop'}).get_text().strip(),
            '位置': sub.find('div', {'class': 'location'}).get_text()
        }
        product_list.append(product)
    with open('./taobao.json', 'a', encoding='UTF-8') as f:
        f.write(dumps(product_list, indent=2, ensure_ascii=False))
    print('Finished.')

for page in range(1, 101):
    index_page(page)
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lanlingxueyu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值