python-爬取淘宝商品

标签: 淘宝网 python-爬虫
224人阅读 评论(0) 收藏 举报
分类:
import requests
import re
import traceback

def getHTMLText(url):
    r = requests.get(url,timeout=30)
    if(r.status_code != 200):
        return ""
    else:
        #r.encoding = r.apparent_encoding
        r.encoding = "utf-8" #为了加快速度,直接设置编码
        return r.text


def getInfoList(ulist,text) :
    regex = re.compile(r"\"raw_title\":\".*?\"")
    titles = regex.findall(text)
    regex = re.compile(r"\"view_price\":\".*?\"")
    prices = regex.findall(text)
    for i in range(len(titles)):
        title = titles[i].split(":")[1].replace("\"","")
        price = prices[i].split(":")[1].replace("\"","")
        ulist.append([title,price])


def printGoodsList(ulist):
    num = len(ulist)
    templte = "{0:{3}<10}{1:{3}<50}{2:{3}<20}" #0,1,2,3表示的是第几个参数:是必须写的,<表示左对齐,>表示右对齐,5和10表示字符数量
    print(templte.format("序号","物品名称","价钱",chr(12288)))#chr(12288)表示中文空格
    for i in range(num): #num控制显示数量
             print(templte.format(i,ulist[i][0],ulist[i][1],chr(12288)))


def main():
    search = input("搜索内容:")
    deep = input("搜索深度:")
    url = "https://s.taobao.com/search?q=" + search
    uinfo = []
    try:
        for i in range(int(deep)):
            url = url + "s=" + str(int(deep) * 44)
            htmlText = getHTMLText(url)
            getInfoList(uinfo,htmlText)
    except Exception as e:
        print("出错:" + str(e))
        traceback.print_exc()

    printGoodsList(uinfo)
main()

输出结果

"C:\Program Files\Python36\python.exe" F:/常用目录/源码/project1/test.py
搜索内容:手办
搜索深度:3
序号        物品名称                                              价钱                  
0         预定Good Smile刀剑神域figma桐人O.S Ver可动换脸手办东京宅集货         50.00               
1         【潮迅】正版PA改红标Gears of War战争机器马可斯菲尼克斯手办              790.00              
2         默图日版原装 哆啦A梦 机器猫 S.H 康夫 野比大雄 手办 模型 摆件              423.00              
3         WF2017S 高木 中国龙gk涂装成品手办 金鳞 树脂摆件 包邮                 450.00              
4         万代 S.H. 加勒比海盗5 死无对证电影周边 杰克 船长 日版手办                478.00              
5         某科学的超电磁炮S 炮姐 御坂美琴DX手办模型人偶 水着玩水 实拍                 90.00               
6         玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   109.15              
7         摩托ATE s之夜 F黑塞巴 圣女手办贞德手办邮 命运aber包车模型               234.00              
8         【怪叔制造】GSB1                                        22800.00            
9         万代 S.H.系列 七龙珠Z 贝吉塔ベジータ 約160mm 日版手办                429.00              
10        正版手办 megahouse POP S.O.C 索隆  MH 海贼王 全新 现货         740.00              
11        代购 偶像大师 星井美希 S-2 手办                               280.00              
12        玩具pj摆件公动6漫睡mask衣侠蒙面公仔手办款s                         55.00               
13        手办 CM\u0027s Corporation 狼与香辛料  赫萝 赫罗 日版 现货       1780.00             
14        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   62.00               
15        at6款五夜拼装公仔玩具freddy\u0027s2代手办fivenights熊的后宫       53.00               
16        寿屋 1/100 Frame Arms RF-Ex10/S 双足飞龙日版手办正品          100.00              
17        万代 火影忍者疾风传 S. H. Figuarts 佐助 手办日版正品代购             1265.00             
18        包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              113.13              
19        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   84.00               
20        万代 S.H.系列 筋肉人 布罗肯Jr  原色版 手办日版                     415.00              
21        Tsume T社 一拳超人 琦玉老师 秃头披风侠 S级英雄 盒装模型手办              126.00              
22        Bandai/万代S.H.Figuarts 奥特曼超人系列怪兽巴鲁坦星人可动手办          50.00               
23        代购 LOVE LIVE!南小鸟 S.H.Figuarts 手办                  390.00              
24        公仔pj6漫公动手办仔款玩具睡蒙面mask摆件s衣侠                        55.00               
25        【Hpoi预定】寿屋 拼装 FAG 机娘 短剑娘 红色Stylet A.I.S 手办        50.00               
26        Bandai/万代 S.H.Figuarts 奥特曼 宇宙恐龙 杰顿 手办             50.00               
27        日本原装 海贼王MegaHouse 索隆 佐罗POP S.O.C坐姿擦刀 手办日版         2000.00             
28        万代 S.H. 美少女战士 水手月亮 月野兔 可动模型 日版手办玩偶                339.00              
29        万代 S.H. 美少女战士 水手小月亮 小小兔 日版手办正品代购                  289.00              
30        正品日版 CM\u0027S 电波女 藤和艾莉欧 表妹 星宫社 豪华版 手办 现货         168.00              
31        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   77.00               
32        包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              112.13              
33        手办时光机 万代 AGP MOBILE SUIT GIRL MS少女 雪菜II 2 S高达     570.00              
34        S H F  七龙珠Z 超级塞亚人 布罗利 可动 手办  S.H.F                880.00              
35        万代 S.H.Figuarts 假面骑士 1号 手办日版正品                    396.00              
36        预定Good Smile刀剑神域figma桐人O.S Ver可动换脸手办东京宅集货         50.00               
37        【潮迅】正版PA改红标Gears of War战争机器马可斯菲尼克斯手办              790.00              
38        默图日版原装 哆啦A梦 机器猫 S.H 康夫 野比大雄 手办 模型 摆件              423.00              
39        WF2017S 高木 中国龙gk涂装成品手办 金鳞 树脂摆件 包邮                 450.00              
40        万代 S.H. 加勒比海盗5 死无对证电影周边 杰克 船长 日版手办                478.00              
41        某科学的超电磁炮S 炮姐 御坂美琴DX手办模型人偶 水着玩水 实拍                 90.00               
42        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   109.15              
43        摩托ATE s之夜 F黑塞巴 圣女手办贞德手办邮 命运aber包车模型               234.00              
44        【怪叔制造】GSB1                                        22800.00            
45        万代 S.H.系列 七龙珠Z 贝吉塔ベジータ 約160mm 日版手办                429.00              
46        正版手办 megahouse POP S.O.C 索隆  MH 海贼王 全新 现货         740.00              
47        代购 偶像大师 星井美希 S-2 手办                               280.00              
48        玩具pj摆件公动6漫睡mask衣侠蒙面公仔手办款s                         55.00               
49        手办 CM\u0027s Corporation 狼与香辛料  赫萝 赫罗 日版 现货       1780.00             
50        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   62.00               
51        at6款五夜拼装公仔玩具freddy\u0027s2代手办fivenights熊的后宫       53.00               
52        寿屋 1/100 Frame Arms RF-Ex10/S 双足飞龙日版手办正品          100.00              
53        万代 火影忍者疾风传 S. H. Figuarts 佐助 手办日版正品代购             1265.00             
54        包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              113.13              
55        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   84.00               
56        万代 S.H.系列 筋肉人 布罗肯Jr  原色版 手办日版                     415.00              
57        Tsume T社 一拳超人 琦玉老师 秃头披风侠 S级英雄 盒装模型手办              126.00              
58        Bandai/万代S.H.Figuarts 奥特曼超人系列怪兽巴鲁坦星人可动手办          50.00               
59        代购 LOVE LIVE!南小鸟 S.H.Figuarts 手办                  390.00              
60        公仔pj6漫公动手办仔款玩具睡蒙面mask摆件s衣侠                        55.00               
61        【Hpoi预定】寿屋 拼装 FAG 机娘 短剑娘 红色Stylet A.I.S 手办        50.00               
62        Bandai/万代 S.H.Figuarts 奥特曼 宇宙恐龙 杰顿 手办             50.00               
63        日本原装 海贼王MegaHouse 索隆 佐罗POP S.O.C坐姿擦刀 手办日版         2000.00             
64        万代 S.H. 美少女战士 水手月亮 月野兔 可动模型 日版手办玩偶                339.00              
65        万代 S.H. 美少女战士 水手小月亮 小小兔 日版手办正品代购                  289.00              
66        正品日版 CM\u0027S 电波女 藤和艾莉欧 表妹 星宫社 豪华版 手办 现货         168.00              
67        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   77.00               
68        包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              112.13              
69        手办时光机 万代 AGP MOBILE SUIT GIRL MS少女 雪菜II 2 S高达     570.00              
70        S H F  七龙珠Z 超级塞亚人 布罗利 可动 手办  S.H.F                880.00              
71        万代 S.H.Figuarts 假面骑士 1号 手办日版正品                    396.00              
72        预定Good Smile刀剑神域figma桐人O.S Ver可动换脸手办东京宅集货         50.00               
73        【潮迅】正版PA改红标Gears of War战争机器马可斯菲尼克斯手办              790.00              
74        默图日版原装 哆啦A梦 机器猫 S.H 康夫 野比大雄 手办 模型 摆件              423.00              
75        WF2017S 高木 中国龙gk涂装成品手办 金鳞 树脂摆件 包邮                 450.00              
76        万代 S.H. 加勒比海盗5 死无对证电影周边 杰克 船长 日版手办                478.00              
77        某科学的超电磁炮S 炮姐 御坂美琴DX手办模型人偶 水着玩水 实拍                 90.00               
78        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   109.15              
79        摩托ATE s之夜 F黑塞巴 圣女手办贞德手办邮 命运aber包车模型               234.00              
80        【怪叔制造】GSB1                                        22800.00            
81        万代 S.H.系列 七龙珠Z 贝吉塔ベジータ 約160mm 日版手办                429.00              
82        正版手办 megahouse POP S.O.C 索隆  MH 海贼王 全新 现货         740.00              
83        代购 偶像大师 星井美希 S-2 手办                               280.00              
84        玩具pj摆件公动6漫睡mask衣侠蒙面公仔手办款s                         55.00               
85        手办 CM\u0027s Corporation 狼与香辛料  赫萝 赫罗 日版 现货       1780.00             
86        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   62.00               
87        at6款五夜拼装公仔玩具freddy\u0027s2代手办fivenights熊的后宫       53.00               
88        寿屋 1/100 Frame Arms RF-Ex10/S 双足飞龙日版手办正品          100.00              
89        万代 火影忍者疾风传 S. H. Figuarts 佐助 手办日版正品代购             1265.00             
90        包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              113.13              
91        玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   84.00               
92        万代 S.H.系列 筋肉人 布罗肯Jr  原色版 手办日版                     415.00              
93        Tsume T社 一拳超人 琦玉老师 秃头披风侠 S级英雄 盒装模型手办              126.00              
94        Bandai/万代S.H.Figuarts 奥特曼超人系列怪兽巴鲁坦星人可动手办          50.00               
95        代购 LOVE LIVE!南小鸟 S.H.Figuarts 手办                  390.00              
96        公仔pj6漫公动手办仔款玩具睡蒙面mask摆件s衣侠                        55.00               
97        【Hpoi预定】寿屋 拼装 FAG 机娘 短剑娘 红色Stylet A.I.S 手办        50.00               
98        Bandai/万代 S.H.Figuarts 奥特曼 宇宙恐龙 杰顿 手办             50.00               
99        日本原装 海贼王MegaHouse 索隆 佐罗POP S.O.C坐姿擦刀 手办日版         2000.00             
100       万代 S.H. 美少女战士 水手小月亮 小小兔 日版手办正品代购                  289.00              
101       万代 S.H. 美少女战士 水手月亮 月野兔 可动模型 日版手办玩偶                339.00              
102       正品日版 CM\u0027S 电波女 藤和艾莉欧 表妹 星宫社 豪华版 手办 现货         168.00              
103       玩具熊的五夜后宫手办62代FiveNights at Freddy\u0027s拼装玩具公仔   77.00               
104       包邮御坂美琴手办 炮姐 bilibili 帽子某科学的超电磁炮S模型摆件              112.13              
105       手办时光机 万代 AGP MOBILE SUIT GIRL MS少女 雪菜II 2 S高达     570.00              
106       S H F  七龙珠Z 超级塞亚人 布罗利 可动 手办  S.H.F                880.00              
107       万代 S.H.Figuarts 假面骑士 1号 手办日版正品                    396.00              

Process finished with exit code 0
查看评论

淘宝搜索定向爬取

注意:依据每个关键词的不同,正则表达式可能需要需改。本例中正则表达式,仅对应于本例中关键词。 import requests,re def getHTMLText(url): try: ...
  • yuanlaijike
  • yuanlaijike
  • 2017-03-19 17:15:34
  • 461

python爬虫学习 之 定向爬取 淘宝商品价格

python爬虫学习 之 定向爬取 淘宝商品价格import requests import redef getHTMLText(url): try: r = requests...
  • learn_is_happy
  • learn_is_happy
  • 2017-12-11 16:26:19
  • 720

Python爬取淘宝页面的数据,包含商品名字,价格及地址

操作系统:Windows7专业版 Python版本:3.6.4 ide:PyCharm Community Edition 4.0.4 代码如下: # -*- coding:utf-8 -*- __a...
  • Prince140678
  • Prince140678
  • 2018-01-30 18:33:48
  • 842

Python爬取淘宝商品详情页数据

在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示: 当这个插件处于关闭状态时,待爬...
  • Oscer2016
  • Oscer2016
  • 2018-01-06 23:14:32
  • 3671

Python爬取淘宝商品信息

  • 2017年08月08日 15:04
  • 2KB
  • 下载

淘宝商品评论爬取

本文记录一下爬取天猫某商品的全过程,淘宝上面的店铺也是类似的做法,不赘述。主要是分析页面以及用Python实现简单方便的抓取。 使用的工具如下 Python 3——极其方便的编程语言。选择3.x...
  • neuwangmingqiang
  • neuwangmingqiang
  • 2015-09-24 22:02:00
  • 4262

用Python爬取淘宝商品

本文爬取淘宝女装短裙商品,并将商品信息存入mysql中
  • d1240673769
  • d1240673769
  • 2017-07-07 00:01:40
  • 4612

python3爬取淘宝信息

# encoding:utf-8 import re # 使用正则 匹配想要的数据 import requests # 使用requests得到网页源码 这个函数是用来得到源码 # 得到主函数...
  • qq_39248703
  • qq_39248703
  • 2017-06-29 17:46:50
  • 1013

python实现爬取千万淘宝商品的方法

本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下: 1 2 3 4 5 6 7 8 9 10 11...
  • qq_30175203
  • qq_30175203
  • 2016-06-13 12:53:40
  • 4105

Java网络爬虫(十四)--多线程爬虫(抓取淘宝商品详情页URL)

源码地址:多线程爬虫–抓取淘宝商品详情页URL 项目地址中包含了一份README,因此对于项目的介绍省去部分内容。这篇博客,主要讲述项目的构建思路以及实现细节。 项目概述及成果 首先将本...
  • championhengyi
  • championhengyi
  • 2018-03-02 22:35:30
  • 804
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 1166
    排名: 4万+
    最新评论