爬虫--淘宝商品信息定向爬虫

目标：获取淘宝搜索页面的信息，提取其中的名称和价格

理解：①淘宝的搜索接口 ②翻页的处理

技术路线：requests-re

首先在淘宝界面,搜索关键字“书包”，复制搜索框上的链接。在淘宝上，同一类商品往往会有很多页。在这里我们爬取书包的前两页。点击第二页，在复制搜索框上的链接。点击第三页。。。

发现什么了吗？就是最后的s，他的数值不同，就代表了不同的页。

接下来我们考虑怎么提取网页我们想要的东西呢？首先通过requests库获取网页，然后通过re库来进行网页中我们想要的内容的提取。

接下来就是写代码了。。。（我这里用的Python3）

写之前先看下robots协议

https://s.taobao.com/robots.txt

User‐agent: *

Disallow: /

所以淘宝的搜索页面是不允许爬虫对它进行爬取的

请注意：这个例子仅探讨技术实现，请不要不加限制的爬取该网站

代码：

import re
import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def parsePage(ilt,html):
     try:
         plt = re.findall(r'"view_price":"[\d.]*"',html)#原生字符串不转义
         tlt = re.findall(r'"raw_title":".*?"',html)
         for i in range(len(plt)):
             price = eval(plt[i].split(':')[1])
             title = eval(tlt[i].split(':')[1])
             ilt.append([price,title])
     except:
        print("1111")
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count,g[0],g[1]))

def main():
    goods = '书包'
    depth = 2
    start_url = 'https://s.taobao.com/search?q='+goods
    infoList = []
    for i in range(depth):
        try:
            if i==0:
                url = start_url
            else:
                url = start_url + '&s=' + str(44*i)
            html = getHTMLText(start_url)
            parsePage(infoList,html)
        except:
            continue
    printGoodsList(infoList)
main()

测试结果：

爬不下来的，可以将那个timeout去掉，再试试。