6爬虫淘宝商品信息定向爬取实例

1.目标：获取搜索页面信息，提取其中的商品名称和价格。
2.重点：搜索接口，翻页的处理
3.技术路线：requests-re
4.操作
①确定淘宝的定向爬虫可行性
http://www.taobao.com/robots.txt
②提交搜索请求，循环获取页面
③每个页面，提取商品名称和价格信息
④将信息输出到屏幕上。
#coding=UTF-8 在代码中写中文
import requests
import re
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return “”

def parseRage(lit,html):
try:
plt=re.findall(r’“view_price”:"[\d.]"’,html) 获得"view_price":后面的数字和小数点,\用来转义
tlt=re.findall(r’“raw_title”:".?"’,html)获得"raw_title":后面中双引号中内容，*？是最小匹配，
for i in range(len(plt)):
price=eval(plt[i].split(’:’)[1])eval去掉单双引号,用：分割，获取键值对中的值
title=eval(tlt[i].split(’:’)[1])
lit.append([price,title])
except:
print("")

def printGoodsList(lit):
tplt="{:4}\t{:8}\t{:16}"
print(tplt.format(“序号”,“价格”,“商品名称”))
count=0
for g in lit:
count=count+1
print(tplt.format(count,g[0],g[1]))

def main():
goods=‘书包’
depth=2 爬取当前页和第二页，深度2
start_url='http://s.taobao.com/search?q=’+goods
infoList=[] 爬取结果
for i in range(depth): 对每一页进行爬取
try:
url=start_url+ ‘&s=’ +str(44*i) 每个页面的起始变量s以44为倍数
html=getHTMLText(url)
parsePage(infoList,html)
except:
continue 某一个页面有问题，直接进行下一个页面的解析
printGoodsList(infoList)

main()