python爬取亚马逊店铺信息_用python爬取亚马逊物品列表

#ecoding=utf-8

from bs4 importBeautifulSoupimporturllib2importreimportxlsxwriter

keywords= raw_input("请输入您要查询的书籍关键字:")

isLast=1page_num= 1bookList=[]whileisLast:

source_page= 'sr_pg_'+str(page_num)

page_index= 'page='+str(page_num)

newkeywords= "%3A"+keywords+'&'baseUrl= "http://www.amazon.cn/s/ref=sr_pg_3?rh=n%3A658390051%2Ck%3Aphp&page=3&keywords="baseUrl,number= re.subn(r'sr_pg_[0-9]+',source_page,baseUrl)

baseUrl,number= re.subn(r'page=[0-9]+',page_index,baseUrl)

baseUrl,number= re.subn(r'%3A(.*?)/&',newkeywords,baseUrl)

myUrl= baseUrl +keywords#伪装成浏览器访问，直接访问的话可能会拒绝

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers= {'User-Agent':user_agent}#构造请求

req = urllib2.Request(myUrl,headers=headers)#访问页面

myResponse =urllib2.urlopen(req)

myPage=myResponse.read()print "--------------------------------第%d页--------------------------------------" %(page_num)

myData= BeautifulSoup(myPage,"html.parser")

rightContent= myData.findAll('li')for i inrightContent:

bookName= i.findAll('h2',attrs={"class":"a-size-medium a-color-null s-inline s-access-title a-text-normal"})for book inbookName:print "************************************************************************"

print ("BOOK_NAME:").decode('utf-8').encode('gb2312') +book.get_text()

youHui= re.findall('(.*?)',str(i),re.S)for p inyouHui:printp#获取价格

price = re.findall('(.*?)',str(i),re.S)for a inprice:print ("Price:")+a

isLastTrue= myData.findAll('span',attrs={"class":"srSprite lastPageRightArrow"})if len(isLastTrue) > 0 or page_num >= 2:

isLast=0

page_num+=1

爬取结果如下：

请输入您要查询的书籍关键字:php

--------------------------------第1页--------------------------------------

************************************************************************

BOOK_NAME:PHP从入门到精通(第3版)(附光盘)

(23 卖家)

Price:￥41.74

************************************************************************

BOOK_NAME:计算机科学丛书:Php和Mysql Web开发(原书第4版)

(9 卖家)

再买好书减10元

Price:￥69.30

************************************************************************

BOOK_NAME:Modern PHP(中文版)

(14 卖家)

再买好书减10元

Price:￥26.90

************************************************************************

BOOK_NAME:深入PHP:面向对象、模式与实践(第3版)

(11 卖家)

Price:￥46.90

************************************************************************

BOOK_NAME:PHP编程(第3版)

(13 卖家)

Price:￥59.20

************************************************************************

BOOK_NAME:Head First PHP & MySQL(中文版)

(2 卖家)

再买好书减10元

Price:￥76.00

************************************************************************

BOOK_NAME:Django之歌：简易博客搭建教程 (简书小说)

************************************************************************

BOOK_NAME:细说PHP(第2版)(附DVD光盘1张)

(9 卖家)

再买好书减10元

Price:￥78.40

************************************************************************

BOOK_NAME:知乎周刊·编程小白学 Python(总第 103 期)

************************************************************************

BOOK_NAME:码农·JavaScript(总第2期)

************************************************************************

BOOK_NAME:跟兄弟连学PHP(升级版)(附光盘)

(14 卖家)

再买好书减10元

Price:￥80.24

************************************************************************

BOOK_NAME:PHP开发实例大全(基础卷)(附DVD光盘)

(17 卖家)

再买好书减10元

Price:￥76.67

************************************************************************

BOOK_NAME:PHP经典实例(第三版)

(14 卖家)

Price:￥76.54

************************************************************************

BOOK_NAME:PHP开发实战1200例(第1卷)(附DVD-ROM光盘1张)

(12 卖家)

再买好书减10元

Price:￥66.20

************************************************************************

BOOK_NAME:零基础学PHP+MySQL (零基础学编程)

************************************************************************

BOOK_NAME:PHP核心技术与最佳实践

(17 卖家)

Price:￥66.75

--------------------------------第2页--------------------------------------

************************************************************************

BOOK_NAME:零基础学PHP+MySQL (零基础学编程)

************************************************************************

BOOK_NAME:PHP+MySQL开发实战(附光盘)

(16 卖家)

再买好书减10元

Price:￥61.60

************************************************************************

BOOK_NAME:Learning PHP,MySQL,JavaScript和CSS(第2版)

(13 卖家)

再买好书减10元

Price:￥57.70

************************************************************************

BOOK_NAME:图灵程序设计丛书:PHP编程实战

(8 卖家)

Price:￥46.92

************************************************************************

BOOK_NAME:细说PHP (LAMP技术大系)

************************************************************************

BOOK_NAME:脑动力:PHP函数速查效率手册(附CD光盘1张)

(4 卖家)

再买好书减10元

Price:￥29.50

************************************************************************

BOOK_NAME:PHP开发实例大全(提高卷)(附DVD光盘)

(15 卖家)

再买好书减10元

Price:￥76.67

************************************************************************

BOOK_NAME:PHP编程(第3版)(影印版)

(7 卖家)

再买好书减10元

Price:￥61.50

************************************************************************

BOOK_NAME:Learning PHP设计模式

(9 卖家)

再买好书减10元

Price:￥41.00

************************************************************************

BOOK_NAME:实战突击:PHP项目开发案例整合(第2版)(附光盘)

(7 卖家)

再买好书减10元

Price:￥73.30

************************************************************************

BOOK_NAME:图灵程序设计丛书:PHP与MySQL动态网站开发(第4版)

(2 卖家)

Price:￥86.20

************************************************************************

BOOK_NAME:高性能MySQL(第3版)

(17 卖家)

再买好书减10元

Price:￥76.80

************************************************************************

BOOK_NAME:大型网站技术架构:核心原理与案例分析

(19 卖家)

再买好书减10元

Price:￥35.28

************************************************************************

BOOK_NAME:PHP、MySQL与JavaScript学习手册(第4版)

(11 卖家)

再买好书减10元

Price:￥89.60

************************************************************************

BOOK_NAME:PHP实例精通 (编程实例大讲堂)

(4 卖家)

Price:￥30.00

************************************************************************

BOOK_NAME:PHP+MySQL网站开发全程实例(第2版)

(18 卖家)

再买好书减10元

Price:￥43.10