#介绍:最近在学习Python的一些相关知识,爬虫是其中有趣的一项,现在把学习的过程整理出来,给自己留个印记。
##Selenium爬取天猫手机数据
淘宝的反爬虫有点厉害,光是登陆就研究了小一天,先是尝试模拟输入用户名和密码,但是会出现让拖动滑块,又研究拖动滑块,拖完显示“哎呀,出错了”,尝试了几次依然以失败告终。网上查资料过程中看到有说用微博账号直接登陆的,不会出现滑块问题,我是选择了直接半自动:手工扫码登陆(就是举着手机眼巴巴等二维码,生怕影响整个程序的运行)。
学习参照“Python3爬虫三大案例实战分享 / Selenium+Chrome/PhantomJS抓取
淘宝美食(无登陆环节)”链接:lhttps://edu.hellobi.com/course/156/play/lesson/2454
(Chrome和chromedriver要对应,这个也需要注意)
以下是爬取天猫的代码:
from selenium import webdriver
import time
import pandas as pd
from pandas import DataFrame
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
from pyquery import PyQuery as pq
#路径为chromedriver.exe下载位置,
browser = webdriver.Chrome("D:\DRIVE\chromedriver.exe")
wait=WebDriverWait(browser,10)
df_a=DataFrame()
def search():
browser.get("https://s.taobao.com")
browser.maximize_window()
browser.find_element_by_css_selector('#q').send_keys('手机')
browser.find_element_by_css_selector('#J_SearchForm > div > div.search-button > button').click()
time.sleep(5)
#留取5秒时间进行扫码登陆
browser.find_element_by_css_selector('#tabFilterMall').click()
time.sleep(3)
get_products()
#定义翻页
def next_page():
for i in range (2,11):
#等待加载到页码显示区
WebDriverWait(browser, 5).until(
ec.visibility_of_element_located((By.XPATH, '//*[@id="mainsrp-pager"]/div/div/div/div[2]')))
input=browser.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[2]/input')
submit=browser.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[2]/span[3]')
input.clear()
input.send_keys(i)
submit.click()
#等待加载到页码颜色高亮
wait.until(ec.text_to_be_present_in_element((