Python 淘宝商品价格爬取（requests库+正则表达式）

淘宝搜索关键词链接：https://s.taobao.com/search?q=关键词

第2页商品链接：https://s.taobao.com/search?q=关键词&s=44

第3页商品链接：https://s.taobao.com/search?q=关键词&s=88

...

第n也页商品链接：https://s.taobao.com/search?q=关键词&s=44*n

说明淘宝的商品页面一共展示44个商品，爬取价格时不要进入商品详情去爬取，因为这样显示的价格并不是在html页面里的，不属于本程序解决的范围

查看源代码，发现商品和对应的名称表示为:

"view_price":"59.00"

"raw_title":"爆款 ! 英伦范小学生书包 减负 防水 耐磨"

这样我们可以将其转化为正则表达式，使用Re库的findall函数将商品信息存入列表中然后输出

爬取耳机类商品的信息如下：

import requests
import re


def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parsePage(ItmeList,html):
    titleList =re.findall(r'\"raw_title\"\:\".*?\"',html)#必须为最小匹配，否则在当前商品的"处不会停止匹配
    priceList=re.findall(r'\"view_price\"\:\"[\d.]*\"',html)
    for i in range(len(titleList)):
        ItmeList.append([eval(titleList[i].split(':')[1]),eval(priceList[i].split(':')[1])])


def printItmeList(ItemList):
    demo="{:^8}{:^12}{}"
    print(demo.format("序号","价格","名称"))
    count=0
    for item in ItemList:
        count=count+1
        print(demo.format(count,item[1],item[0]))

def main():
    #爬取到商品第3页的数据
    depth=3
    start_url="https://s.taobao.com/search?q="
    itemName="耳机"
    itemList = []
    for i in range(depth):
        html=getHTMLText(start_url+itemName+"&s="+str(i*44))
        parsePage(itemList,html)
    printItmeList(itemList)


main()

   序号        价格     名称
   1       59.90    已售220000件!入耳式耳机重低音炮手机通用
   2       69.90    Amoi/夏新 A1无线蓝牙耳机运动型跑步耳塞挂耳式头戴双耳入耳通用
   3       169.00   力族 w 1无线蓝牙耳机挂耳式超小隐形双耳塞式运动苹果迷你入耳式
   4       18.90    魅族耳机 mx5 mx6 4 3s e note2 魅蓝手机通用入耳式耳塞原装正品
   5       23.00    真无线双耳蓝牙耳机4.1迷你运动隐形入耳式耳塞挂耳式超小iphone7
   6       79.00    Huawei/华为 AM12plus引擎耳机原装正品入耳式荣耀8P9 V9通用女生
   7       12.80    乐视耳机超级手机乐2/3 pro max2 X620 x528 原装线控带麦入耳式
   8       226.00   Samsung/三星 level u原装蓝牙耳机S7edge S6+无线入耳式运动项圈
   9       89.00    小米运动蓝牙耳机6 5SMAX红米NOTE4X跑步无线防水DACOM 5c挂耳式
   10      24.80    通用一加三手机3t耳机2二银耳努比亚z11 z17mini/s布拉格原装正品
   11       1.00    清仓捡漏1元起拍蓝牙耳机 耳塞挂耳式无线 通话听音乐通用蓝牙1
   12      273.42   DIY耳机DAIK作品2014殿堂级入耳尊享胡桃木耳机DK-夏热销杂食耳塞
   13      25.80    忆动耳塞入耳式耳机可调音线控带耳麦K歌立体声手机笔记本电脑用
   14       1.00    清仓捡漏 1元起拍通用型蓝牙耳机 所有手机通用 全新蓝牙M165十字
   15       2.00    清仓捡漏 1元起拍通用型跑步运动入耳机所有手机通用跑步耳机新款
   16       1.00    清仓捡漏1元起拍通用型蓝牙耳机车载音乐通话 蓝牙耳机
   17      12.00    贝恩 耳机转换头 水晶头转USB插头/转3.5mm双插头/转3.5mm单插头
   18       1.00    无线蓝牙耳机电脑电视通用无线耳机挂耳式立体声苹果小米OPPO华为
   19      12.80    耳机入耳式子重低音炮通用安卓有线vivo华为魅族oppo苹果金立带麦
   20      36.80    多功能头戴式蓝牙耳机手机无线耳机重低音可插卡播放支持通
   21      26.00    小米5 5S PLUS MAX红米3S 3X NOTE4 PRO 4原装线控入耳式粉色耳机
   22      14.90    通用 小米5 max 4c 红米note4 pro 3s 3x 高配版手机耳机原装正品
   23      26.00    时尚创意韩版香水耳机入耳式手机通用女生带麦iphone5线控重低音
   24      29.00    蓝牙耳机无线运动耳塞立体声听歌通话挂式耳机【评估价138】
   25       1.00    清仓捡漏 1元起拍 运动有线耳机 挂耳通用型跑步耳机
   26      19.00    原装正品华为蓝牙耳机P9 P9plus V8 荣耀8Mate8听歌立体声迷你4.0
   27      50.00    定制耳机、线材专业维修
   28      31.20    原装正品式4.1迷你超小蓝牙耳机挂耳通用耳塞式耳塞7plus隐形原装
   29      10.00    运动S500立体声耳机跑步有线入挂耳机线控重低音防水手机通用 01
   30      30.00    新款耳挂式3.5MM插头手机耳机普通电话座机耳机话务耳麦
   31      59.00    超长待机蓝牙耳机耳塞挂耳式开车运动vivo苹果7oppo无线优迈 z11
   32      288.00   发烧音质魔音无线蓝牙耳机头戴式通用触控立体声苹果7索尼重低音
   33      18.55    无线耳塞式蓝牙耳机4.1苹果5 6sPlus华为小米运动迷你通用4.0挂耳
   34      18.80    3米长线挂耳式耳机运动耳挂式加长耳机2米电脑手机通用带话筒耳机
   35      29.90    小米手机耳机 米6 5x 5s plus max2 5c mix红米note4x 3s原装正品
   36      99.00    ISK sem5 高端监听 SEM5耳塞 入耳式监听耳机 主播 录音
   37      12.80    包邮vivoY31A耳机原装正品VIVO Y31A手机耳塞式线控Y31A耳机通用
   38      129.00   Somic/硕美科 G618 电竞游戏入耳式耳机电脑耳麦绝地求生吃鸡专用
   39      29.90    华为手机耳机 荣耀8 青春版 V9 play 6x 畅享7 6s P9 6a 原装正品
   40       1.00    清仓捡漏1元起拍通用型蓝牙耳机车载音乐通话 蓝牙耳机
   41      199.00   Vsonic/威索尼可 VSD 2/VSD2S入耳式HIFI耳塞手机耳机 现货顺丰
   42       1.00    清仓捡漏1元起拍 通用型蓝牙耳机 迷你蓝牙耳机 隐形迷你蓝牙耳机
   43      29.90    苹果手机耳机iphone7 6s plus se原装线控带麦唱歌录音入耳式正品
   44       7.90    个性耳机入耳式重低音通用男低音炮抗拉安卓原装金属耐用创意韩版
   45      12.80    魅族MX6 魅族Pro6 魅族Pro6S原装耳机手机耳塞入耳式原配专用正品
   46       2.00    清仓捡漏 1元起拍通用型蓝牙耳机 所有手机通用 全新蓝牙M165十字
   47      999.00   Beats Powerbeats3 beatspb3 Wireless蓝牙无线运动三代魔音耳机
   48      98.90    Xiaomi/小米 小米圈铁耳机红米Note2 4 3 通用入耳式耳塞原装正品
   49       4.40    华为原装正品耳机8荣耀7i 6x 5c p8 P9手机线控K歌耳塞入耳式通用
   50      46.00    经典原装CX300二代剪线 维修耳机头 个性定制diy 发烧耳塞
   51      338.00   Plantronics/缤特力 M180立体声音乐迷你蓝牙耳机 声控接听通用型
   52      27.80    vivox6plus/A/D/L耳机原装vovi线控vo正品viv0耳塞x6pius入耳
   53      12.80    适用于康佳R1 R2 S1 E1 R3 R5专用入耳式线控话筒耳机带麦原装线
   54      156.00   Onkyo/安桥 E700M 电脑手机mp3通用入耳式运动耳塞重低音HIFI耳机
   55       1.00    清仓捡漏1元起拍蓝牙耳机 耳塞挂耳式无线 通话听音乐通用蓝牙
   56      59.90    天天特价颈挂式无线蓝牙耳机运动挂脖式4.1防水防汗小米oppo苹果
   57      79.00    小米魅族通用低音炮入耳式无线蓝牙耳机 颈挂式运动跑步音乐耳塞4.1
   58      14.00    清仓捡漏 1元起拍 运动有线耳机 挂耳通用型跑步耳机（新款）
   59      39.00    卡通儿童耳机头戴式带麦保护听力可爱男女学生音乐学习耳麦可折叠
   60      300.00   KZ LP5头戴蓝牙耳机监听重低音大耳无线耳麦游戏耳机全新盒装正品
   61       7.00    编织线耳塞入耳重低音苹果安卓小米手机通用男女生入耳式运动耳机
   62      35.40    vivoxplay6耳机原装vovi手机线控vo正品vi通用viv0入耳式vio耳塞
   63      38.80    OPPO R9s OPPO R9  OPPOR7 OPPOA59M手机耳机原装正品MH133入耳式
   64      499.00   AKG/爱科技 Q460耳机线控耳机头戴式线控带麦重低音耳麦耳机清仓
   65      12.00    清仓捡漏1元起拍圆线立体声耳机 新款重低音MP3耳机 入耳方形耳机
   66      38.00    利客 K21无线蓝牙耳机耳塞式开车挂耳式苹果4.1运动通用超长待机
   67      38.00    清仓蓝牙耳机超长待机入耳式电脑手机耳机车载迷你无线金属耳机
   68      24.50    acz新品重低音跑步手机入耳式线控挂耳运动带麦耳塞iphone7耳机
   69      88.00    佳蓝FV3自带伸缩线蓝牙耳机4.1立体声领夹式商务车载通用来电震动
   70      26.00    Inpher/音霏尔 T50金属入耳式耳机手机电脑通用线控麦耳塞重低音
   71      16.90    手机通用清新版耳机 小米华为入耳式耳麦运动健身男女挂耳式活塞
   72      29.90    通用 奇酷360手机耳机 青春版 N4 N4s N5 N5S F4 Q5 plus原装正品
   73      69.90    Shinco/新科 K6无线蓝牙耳机运动型跑步耳塞挂耳式头戴双入耳通用
   74      99.00    DZAT/渡哲特 DF-10入耳式hifi耳机线控带麦木质耳塞主播发烧mp3
   75      29.90    韩版可爱彩色拉链面条线入耳式耳机带麦潮流男女学生手机耳机通用
   76      148.00   T800 无线运动蓝牙耳机 双耳塞式入耳式 全场景蓝牙防水防汗 包邮
   77      10.00    2米4米长水晶线耳机 低音耳塞式电视电脑耳机 声卡耳机不带麦克风
   78      37.70    新款苹果ipad平板电脑手机笔记本单孔耳机耳麦一体头戴式带麦克风
   79      69.00    哈灵D9迷你蓝牙耳机挂耳式耳塞超小隐形开车运动苹果vivo小米通用
   80      12.66    英尚 S6入耳式耳机手机电脑MP3通用重低音运动耳塞式带麦线控耳机
   81      12.80    OPPO r11 r9s r7 r9plus MH133重低音线控通用入耳式耳塞手机耳机
   82      25.47    手机耳机入耳式小米华为oppo魅族红米魅蓝vivo安卓通用男女生耳塞
   83      118.00   ISK HP-960B  全封闭头戴式 重低音监听耳机 网络K歌主播录音耳塞
   84      80.00    JOWAY H-13跑步运动入耳挂耳式迷你音乐双耳4.1手机音乐蓝牙耳机
   85       8.50    oppor9/tm/A原装耳机opop耳塞0pp0手机poop线控OPPO mh130正品opp
   86     1009.00   【国行】顺丰 Beats Powerbeats3   PB3 Wireless运动蓝牙耳机
   87     1999.00   E－3LUE/宜博 EBT910 漫威钢铁侠头戴式蓝牙4.0无线音乐游戏耳机
   88       8.50    vivox9/S/L耳机原装vov手机线控vi耳塞viv0正品vio入耳式vo通用v0
   89      23.00    无线迷你蓝牙耳机重低音耳塞入耳挂耳式超小隐形vivo华为苹果通用
   90      399.00   Philips/飞利浦 SHB5250无线蓝牙耳机耳塞式迷你运动手机通话耳麦
   91      18.00    华为P9耳机P8 G9 7荣耀6X 6A V8 5 6S手机通用原装正品入耳式耳塞
   92       8.50    vivox7plus耳机原装vovi手机线控vio耳塞vo正品通用x7pius入耳式
   93       8.50    vivox9splus耳机原装vovi手机线控x9spius耳塞vo正品vio通用v0x9p
   94      12.50    yy主播监听耳机手机耳机降噪入耳式 重低音耳机主播监听耳塞3米线
   95      32.00    权志龙鹿晗同款入耳式学生校园耳机手机送收纳盒K歌创意新款韩版
   96      159.00   UMO/优摩 K 运动蓝牙无线耳机跑步苹果迷你超小双耳塞式酷狗隐形
   97      59.00    迷你超小隐形蓝牙耳机oppo耳塞式vivo华为7苹果7plus无线运动通用
   98       8.50    vivox9plus耳机原装x9pius手机线控vovi耳塞vi正品vo通用v0入耳式
   99      108.00   diy头戴式耳机录音师单元hifi音质k哥神器主播
  100      49.80    天天特价 无线蓝牙耳机超长待机耳塞式开车挂耳式4.1运动手机通用
  101       8.50    oppor7plus/t原装耳机opop耳塞r7pius0pp0线控opo正品OPPO包邮
  102      14.40    Niye/耐也 D3重低音电脑手机通用挂耳式运动入耳线控耳机跑步耳塞
  103      19.68    包邮步步高vivoY13iL原装耳机VIVO Y13iL手机耳机线控耳塞式正品
  104      19.68    包邮步步高vivoY35A原装耳机VIVO Y35L手机耳机线控耳塞式正品
  105      19.68    步步高vivoY22原装耳机Y22iL Y627 Y28F手机耳机线控耳塞式正品
  106      24.21    oppoA30耳机原装正品OPPO A30耳塞式耳机线控A30通用重低音耳机
  107      25.20    oppoR8207原装耳机OPPO R8207耳机线控入耳式R1C通用耳机带麦正品
  108     1488.00   Beats Powerbeats3 by Dr. Dre Wireless无线蓝牙运动入耳式耳机
  109      49.90    手机通用无线蓝牙耳机耳塞挂耳式迷你超小oppo苹果vivo可接听电话
  110      23.00    夏季新款蓝牙耳机挂耳式超小耳塞式无线男女迷你隐形4.1通真便宜
  111      99.00    无线蓝牙耳机迷你超小超长续航待机入耳式快递外卖通用滴滴司机
  112      98.00    Elecom/宜丽客EHP-CS3510M晶彩立体声手机线控通话入耳音乐耳机
  113       8.50    vivox6/S/A/D耳机原装vovi手机线控vio正品vo通用vi耳塞viv0入耳
  114       8.50    oppor9splustmA原装耳机op耳塞0pp0手机opopr9pius线控OPPO入耳式
  115      40.00    批 歌奈 聆听3A （I/N通用版）手机耳机带麦
  116      19.90    隐形蓝牙耳机听歌通话不闪灯通用iphone7 6 5 ipad air2 pro mini
  117       6.80    首望 S2 耳机入耳式 运动跑步耳机 手机线控耳挂耳麦通话耳塞
  118       7.80    honor荣耀6plus H60-L01 L11 L02 L12 PE-UL00 TL10耳机原装
  119      42.00    日本原装进口Sony Ericsson/索尼爱立信HPM-75入耳式蓝牙适配耳机
  120      18.00    Amoi/夏新 A1无线蓝牙耳机运动型跑步耳塞挂耳式头戴双耳入耳通用
  121      63.00    原装正品华为蓝牙耳机耳塞挂耳式无线荣耀5c P9 P8 mate8手机通用
  122      63.00    华硕Zoom A2DP Fonepad 7 手机迷你无线蓝牙耳机通用蓝牙玖太子
  123      20.00    iphone华为魅族vivo耳机线带麦入耳式软耳塞全民k歌安卓苹果通用
  124       8.80    迷你蓝牙耳机 超小mini挂耳塞式无线隐形微型运动跑步开车载专用