Python爬虫—手机销量

#介绍:最近在学习Python的一些相关知识,爬虫是其中有趣的一项,现在把学习的过程整理出来,给自己留个印记。
##Selenium爬取天猫手机数据
淘宝的反爬虫有点厉害,光是登陆就研究了小一天,先是尝试模拟输入用户名和密码,但是会出现让拖动滑块,又研究拖动滑块,拖完显示“哎呀,出错了”,尝试了几次依然以失败告终。网上查资料过程中看到有说用微博账号直接登陆的,不会出现滑块问题,我是选择了直接半自动:手工扫码登陆(就是举着手机眼巴巴等二维码,生怕影响整个程序的运行)。
学习参照“Python3爬虫三大案例实战分享 / Selenium+Chrome/PhantomJS抓取
淘宝美食(无登陆环节)”链接:lhttps://edu.hellobi.com/course/156/play/lesson/2454
(Chrome和chromedriver要对应,这个也需要注意)
以下是爬取天猫的代码:

from selenium import webdriver
import time
import pandas as pd
from pandas import DataFrame
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
from pyquery import PyQuery as pq

#路径为chromedriver.exe下载位置,
browser = webdriver.Chrome("D:\DRIVE\chromedriver.exe")
wait=WebDriverWait(browser,10)
df_a=DataFrame()


def search():
    browser.get("https://s.taobao.com")
    browser.maximize_window()
    browser.find_element_by_css_selector('#q').send_keys('手机')
    browser.find_element_by_css_selector('#J_SearchForm > div > div.search-button > button').click()
    time.sleep(5)
    #留取5秒时间进行扫码登陆
    browser.find_element_by_css_selector('#tabFilterMall').click()
    time.sleep(3)
    get_products()

#定义翻页
def next_page():
    for i in range (2,11):
    #等待加载到页码显示区
        WebDriverWait(browser, 5).until(
            ec.visibility_of_element_located((By.XPATH, '//*[@id="mainsrp-pager"]/div/div/div/div[2]')))
        input=browser.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[2]/input')
        submit=browser.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[2]/span[3]')
        input.clear()
        input.send_keys(i)
        submit.click()
        #等待加载到页码颜色高亮
        wait.until(ec.text_to_be_present_in_element((
  • 14
    点赞
  • 64
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值