Python——淘宝商品信息定向爬虫（requests+re）

有点崩，现在好像爬取不到任何东西了

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格

理解：

1.怎样去通过程序向淘宝提交请求，并获得提取的结果

2.怎样展示翻页的处理

首先我们要查看淘宝网的robots协议，查看那一部分是我们可以爬取的（查看一个网站的robots就是在这个网站的根目录后加上   /robots.txt   就可以了）

这里淘宝的robots 协议表明我们是不能爬取任何东西的,但这里的操作和正常的访问相似的，而且不是恶意的爬取，所以可以继续操作

具体步骤：

1.提交商品搜索请求，循环获取页面

2.对于每个页面，提取商品名称和价格信息

（这里我们通过查看原网站的源代码查看我们想要获得的信息在源代码的位置或者对应标记。这个实例中我们发现在源代码中商品的价格都出现在‘view_price’后，这就是对应的标记）

3.将信息输出到屏幕上

 

import requests
import re

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.endcoding = r.apparent_encoding
        return r.text
    except:
        return ""
    

def parsePage(ilt,html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)#用正则表达式匹配信息
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].spilt(':')[1])
            titlt = eval(tlt[i].spilt(':')[1])
            ilt.append([price,title])
    except:
        print("")
        

def printGoodsList(ilt):#打印获得的信息
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count+1
        print(tplt.format(count,g[0],g[1]))

        

def main():
    goods = '书包'#搜索关键词
    depth = 2; #爬取的深度
    start_url = 'http://s.taobao.com/search?q='+ goods
    infoList = []
    for i in range(depth): #对每一个页面进行单独的操作
        try:
            url = start_url + '&s=' +str(44*i)
            html = getHTMLText(url)
            parsePage(infoList,html)
        except:
            continue
    printGoodsList(infoList)

main()