python 抓取淘宝价格信息

接着上一回。

这段程序实现从淘宝主页开始，输入搜索信息（搜索‘手表’），确定搜索后，爬取结果前20页所有的价格信息和地区信息（其他信息也可以获取，暂时只获取了这两个），最后用matplotlib绘制了手表价格与数量的频率图。

可以看出来，普通手表价格集中在50-400元左右。

下面介绍程序思路：

思路还是利用selenium模块打开网页，返回页面源码，然后利用bs4解析源码，获取信息。

这次尝试在selenium库上载了大跟头，主要遇到了以下几个问题

1.跳转页面次数不对

        一开始利用selenium定位淘宝“下一页”按钮，获取这这一页信息后直接跳转下一页。结果发现，翻页的次数总是少于预期的次数。后来经过多次尝试，发现问题应该是跳转页面后元素没有加载完成，以致无法翻页。虽然设置了显示等待，但还是没有奏效，后来设置了3s的强制等待后，翻页次数终于达到了预期。

2.跳转页面后源码未变

        好不容易解决了跳转次数不对的问题，后来发现不管翻了多少页，打印出来的信息都是相同的，都是第一页信息。也就是说，浏览器虽然翻页过去了，程序获得的源码却未变。也是搜索了很多信息但是一直未解决。有说是因为句柄未改（但是我根本不知道句柄是啥），而且按照所写的方法去试了试，还是没有改变。后来检索到可能还是页面还未加载完成，于是，我又强制等待了3s，终于ok。

代码：

import time
import re
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import numpy as np
import matplotlib
matplotlib.use('TkAgg')
import matplotlib.pyplot as plt


url = 'https://www.taobao.com'         # 淘宝首页
max_page_account = 20                  # 最大页面数
search_contents = '手表'               # 搜索内容

# 打开页面
browser = webdriver.Chrome()
browser.get(url)
wait = WebDriverWait(browser, 10)
# 价格列表 和 地区列表
price_list = []
location_list = []


def init():
    # 等待搜索框 与 搜索按钮 加载完成
    input_contents = wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))
    )
    bnt_search = wait.until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
    )
    # 输入 搜索内容，点击 搜索按钮
    input_contents.send_keys(search_contents)
    bnt_search.click()


def next_page():
    """翻页"""
    # 定位 “下一页” 按钮
    bnt_next_page = wait.until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > ul > li.item.next > a'))
    )
    bnt_next_page.click()
    time.sleep(5)   # 强制等待5s，否则页面的源码不会改变


def get_info():
    """获取信息"""
    # 等待 商品列表 加载完成
    wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-itemlist > div > div'))
    )
    page = browser.page_source                             # 获取源码
    soup = BeautifulSoup(page, 'html.parser')              # 用beautifulsoup解析源码
    items = soup.find('div', class_='grid g-clearfix')     # 获取商品列表信息
    itemlist = items.find_all('div', class_=re.compile(r'^item J_MouserOnverReq'))
    for item in itemlist:
        price = item.find('div', class_='price g_price g_price-highlight').find('strong').get_text()
        location = item.find('div', class_='location').get_text()
        price_list.append(float(price))
        location_list.append(location)


def plot_image(item_list, x_label, y_label):
    """调用获取信息函数并绘图"""
    count = 0
    while count < max_page_account:     # 遍历要求的页数
        count += 1
        get_info()
        time.sleep(5)                   # 等待5s后再翻页
        if count != max_page_account:
            next_page()
    # 绘制频率图
    plt.hist(item_list, 50, rwidth=0.8)    # 这一段注释在博客里单独解释
    tick = np.linspace(0, 5000, 20)        
    plt.xticks(tick)
    plt.tick_params(labelsize=6)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    plt.title(x_label + "-" + y_label)
    plt.show()


init()
x_label = "price"
y_label = "amount"
plot_image(price_list, x_label, y_label)

主要解释一下绘图部分代码。

在 “#绘制频率图”下：

第一行是hist图，第一个参数是x轴数据列表，这里即使价格列表；第二个参数是分隔数量，比如手表价格是200-2000，如果分隔数量是10，那么每隔区间就是（2000-200）/10，通俗来说就是柱状图的数量。第三个参数是柱状图的宽度

第2~4行是设置x轴刻度，如果不设置也行，hist图会默认，但是我觉得刻度不够精确，重新设置一下。第2行是定义刻度对象，第一个参数是刻度最小值，第二个参数是最大值，第三个参数是间隔数量。第4行是设置x轴刻度字体大小

5~7行是设置x，y轴标签以及图题，貌似matplotlib不支持中文，还未解决。

最后显示图，未保存。

下一次应该会学习一下如何从网页上下载图片。