中国大学mooc实战项目之淘宝商品信息提取 python《网络爬虫与数据提取》

*获取页面里没有商品信息而是登录页面是因为没有cookie信息，所以想要获取淘宝商品信息需要先登录自己的账号得到自己的cookie

获取淘宝cookie的方法：

首先先登录我们自己的淘宝账号

淘宝搜索任意内容后会出现一个新的第三步Name

源代码

import re
import requests
from bs4 import BeautifulSoup
url = 'https://s.taobao.com/search?q='


# 设置cookie的值
cookie = 'xlly_s=1; alitrackid=www.taobao.com; cookie2=11684d2a4e006d3bb2b83ef3cfc4df49; t=0886ed00aad99aac5066105b8d39482a; _tb_token_=f15a6e17e8be7; hng=CN|zh-CN|CNY|156; thw=cn; _samesite_flag_=true; lastalitrackid=login.taobao.com; _uab_collina=162123837338555780261734; _m_h5_tk=84039b1ef1fc7b24d62625d23441f268_1621251566876; _m_h5_tk_enc=7bb20836687a0e761deda47c4daa356e; cna=pDaHFvnA1hACAWohEn0c+FxZ; sgcookie=E100yD+P4igrfk1gQkuePSkahKbbZC7Olb6yJv3ZulI+2xGu0W6WTjEEChg49ypic3zsJjhD4WloaC3u5cvrg8GzkQ==; unb=4149725860; uc3=lg2=URm48syIIVrSKA==&vt3=F8dCuwgmnFUwCjCMxrA=&id2=Vy0XFx9cRUBCZg==&nk2=AmkKA6aQ; csg=338fe594; lgc=axx299; cookie17=Vy0XFx9cRUBCZg==; dnk=axx299; skt=89f5d08b04a3b0c5; existShop=MTYyMTI0MjI2MA==; uc4=id4=0@VXqZhcZWJjDI9oEJEx/pgXFQmfUf&nk4=0@AII8YTsd27vacUliRCUDGvc=; tracknick=axx299; _cc_=URm48syIZQ==; _l_g_=Ug==; sg=906; _nk_=axx299; cookie1=W8Df+oB22CyNFBDcTj2SsDN04w346wIplNTEykc2Uek=; mt=ci=22_1; uc1=pas=0&cookie21=Vq8l+KCLivbdjeuVIQ2NTQ==&existShop=false&cookie14=Uoe2zEWtsBiCXw==&cookie16=W5iHLLyFPlMGbLDwA+dvAGZqLg==&cookie15=Vq8l+KCLz3/65A==; enc=FfEc/39WjXLL8BQr8K6FZ8MxZ+237MHcgvrTbCCEGdq0/CJ9tM5/26mrb3TNxxkQCOPvQHKiwaTU9tbDoJwSlQ==; x5sec=7b227365617263686170703b32223a223339383263646666326461306462393666656636366264353732306534663736434a726a69495547454c7a6a3038796f764d657a59786f4d4e4445304f5463794e5467324d4473784d4b6546677037382f2f2f2f2f77453d227d; JSESSIONID=D15E590BDEE6C0E9B6A58B6534D9523D; isg=BFlZcDxFXWqWPwH9JmyGJ5vVaEUz5k2YrQmcU3sOdgD1gnsUwTQOaILUhEb0aOXQ; tfstk=cpdABNao30mD9v7J8KHo1fMO_WdOZ4PAXrsU6q_I0t0_wUVOikdH9ZYqhwQtm4C..; l=eBaNRBMHj2s15dsFBO5Churza779VIRbzxFzaNbMiInca1l51EXiSNCC0t09RdtjgtCbSexyq4hFHRnp5i4dg2HvCbKrCyCuHxJO.'


# 获取网页源代码
def gethtml(url):
    try:

        kv = {'cookie': cookie}
        r = requests.get(url, headers=kv, timeout=30)  # 把cookie写入头部
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, 'html.parser')
        return soup.prettify()
    except:
        return "产生异常"

# 将商品信息写入列表
def getinfo(glist, html):
    jiage = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
    mingcheng = re.findall(r'\"raw_title\"\:\".*?\"', html)
    chang = len(jiage)
    for i in range(chang):
        glist.append([mingcheng[i][13: -2], jiage[i][14: -2]])

# 输出信息函数


def prinlist(glist):
    for i in range(len(glist)):
        print('{0:^3}\t{2:{3}<5}\t{1:<30}'.format(i+1, glist[i][0], glist[i][1], chr(12288)))


def main():

    goodsName = input("请输入要爬取的内容")
    pages = 2  # 想要爬取的商品名
    count = 0
    glist = []
    for page in range(pages):
        html = gethtml(url + goodsName + "&s=" + str(pages*page))
        getinfo(glist, html)
    prinlist(glist)


main()

输出结果：

E:\python\python.exe G:/pytest/淘宝商品比价定向爬虫.py
请输入要爬取的内容书包
 1 	149.0	鳄鱼男士双肩包商务休闲电脑背包大容量旅           
 2 	138.0	多妙屋小学生书包女童一三四年级女孩彩虹减负护脊轻便儿童双肩 
 3 	179.0	Nike耐克双肩包女2021夏季新款运动包学生书包小包绒面背包CU257
 4 	85.0　	男士个性虎头男中学创意仿真大老虎头背包狮子头虎头包书包双肩 
 5 	89.0　	小米 （MI）背包极简都市双肩包2男女笔记本电脑15.6英寸学生书
 6 	149.0	小米双肩包商务简约书包男女士大学生时尚潮流旅行笔记本电脑背 
 7 	59.0　	双肩包男士大容量电脑旅行背包女时尚潮流大学生高中初中学生书 
 8 	128.0	多妙屋书包小学生女童一三四年级公主女孩轻便儿童护脊减负双肩 
 9 	119.0	Skechers斯凯奇2021新款书包大容量运动风大学生夏男士双肩背包
10 	158.0	双肩包男士出差旅游大容量背包女运动休闲笔记本电脑包旅行书包 
11 	69.0　	大容量男士双肩包休闲旅游旅行电脑背包女高中初中学生书包大学 
12 	619.0	MoonRock梦乐品牌书包减负1-3年级男女小学生儿童超轻便双肩背
13 	499.0	fjallraven瑞典北极狐双肩包kanken书包女电脑背包官方旗舰2351
14 	88.0　	正品nike耐克双肩包男女休闲运动学生书包大容量旅行电脑时尚背
15 	198.0	阳光8点 小学生书包一二三到六年级男女儿童超轻减压护脊轻便减
16 	129.0	KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减
17 	258.0	电视剧款JanSport杰斯伯2020年新款双肩包时尚潮女书包男电脑背
18 	139.0	KVG书包小学生男1-3一二三到六年级4-6儿童超轻便减负女护脊背
19 	298.0	Colins Keirs双肩包男士商务休闲大容量电脑包背包男旅行书包潮
20 	129.0	KK剑桥树书包小学生女孩一二三到六年级儿童双肩包护脊减负6-12
21 	208.0	2021款日本超轻书包小学生女大容量一二三到六年级儿童书包男护
22 	59.0　	双肩包男士大容量商务电脑旅游旅行背包女大学生高中初中学生书 
23 	88.0　	凯蒂猫女童一二三到六年级女孩超轻护脊减负儿童双肩包小学生书 
24 	135.0	旅行背包男士大容量超大休闲出差旅游特大书包80升行李大号双肩
25 	258.0	日本KYOSHO拉杆书包静音小学生男孩女生儿童大容量防水可爬楼初
26 	49.0　	双肩包女2021新款韩版牛津布小背包女士百搭时尚大容量帆布书包
27 	149.0	uek小学生书包男孩女生一二三四五六年级护脊双肩6-12岁轻便儿
28 	59.9　	儿童书包男童一到三四五六年级男孩小学生背包大童卡通超轻便护 
29 	3105.0	金实佳 日本代购 ISSEYMIYAKE 三宅一生 双肩包 磨砂黑书包 背
30 	79.0　	诺狐婴幼儿园书包女孩男孩3岁5大班小班宝宝儿童防走失背包女 
31 	178.0	帆布共和国2021新款双肩包女男背包大容量简约时尚百搭撞色书包
32 	59.0　	巴布豆儿童书包男童1-3-4-6年级轻便减负防水护脊女童书包小学生
33 	580.0	Samsonite/新秀丽双肩包女小包 休闲时尚双肩背包简约商务书包TQ
34 	399.0	Fjallraven/北极狐双肩背包kanken mini 迷你情侣书包背包女2356
35 	138.0	旅行包男户外登山休闲超大容量旅游双肩书包出差背包女行李多功 
36 	900.0	Gaston Luga电脑双肩包男皮大容量书包男时尚潮流百搭旅行背包
37 	599.0	Samsonite/新秀丽儿童书包小学生一六低高年级男女孩双肩背包TU
38 	249.0	国家地理背包女运动户外时尚电脑双肩包男旅行防水学生情侣书包 
39 	198.0	瑞士军刀双肩包男休闲大容量书包瑞士军士刀男士电脑商务旅行背 
40 	178.0	瑞士军士刀双肩包男背包商务出差电脑旅行包大容量初高中学生书 
41 	118.0	瑞士双肩包男超大容量休闲商务旅行电脑背包男士高中初中学生书 
42 	149.0	双肩包女2021新款时尚韩版百搭大容量牛津布简约旅行防盗背包书
43 	58.0　	双肩包男日系ins男士潮牌大容量休闲旅行包背包女潮酷书包大学
44 	399.0	小众夏真皮牛皮包包2021新款时尚迷你百搭小书包女包双肩包女背
45 	69.0　	潮流双肩包男士休闲防水旅行包电脑包背包高中初中大学生书包男 
46 	398.0	【顺丰速发】日本书包小学生男儿童一二三到六年级护脊减负超轻 
47 	379.0	FILA斐乐童装儿童双肩包小学生书包2021新款男童女童低年级背
48 	32.9　	儿童书包小学生超轻三到六男童幼儿园一年级女二男孩四定制印log
49 	149.0	小米双肩包商务简约书包男女士大学生时尚潮流旅行笔记本电脑背 
50 	59.0　	双肩包男士大容量电脑旅行背包女时尚潮流大学生高中初中学生书 
51 	128.0	多妙屋书包小学生女童一三四年级公主女孩轻便儿童护脊减负双肩 
52 	119.0	Skechers斯凯奇2021新款书包大容量运动风大学生夏男士双肩背包
53 	158.0	双肩包男士出差旅游大容量背包女运动休闲笔记本电脑包旅行书包 
54 	69.0　	大容量男士双肩包休闲旅游旅行电脑背包女高中初中学生书包大学 
55 	59.0　	迪士尼书包小学生男童女童儿童双肩包三到六年级一二护脊减负超 
56 	619.0	MoonRock梦乐品牌书包减负1-3年级男女小学生儿童超轻便双肩背
57 	499.0	fjallraven瑞典北极狐双肩包kanken书包女电脑背包官方旗舰2351
58 	88.0　	正品nike耐克双肩包男女休闲运动学生书包大容量旅行电脑时尚背
59 	198.0	阳光8点 小学生书包一二三到六年级男女儿童超轻减压护脊轻便减
60 	129.0	KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减
61 	258.0	电视剧款JanSport杰斯伯2020年新款双肩包时尚潮女书包男电脑背
62 	139.0	KVG书包小学生男1-3一二三到六年级4-6儿童超轻便减负女护脊背
63 	298.0	Colins Keirs双肩包男士商务休闲大容量电脑包背包男旅行书包潮
64 	129.0	KK剑桥树书包小学生女孩一二三到六年级儿童双肩包护脊减负6-12
65 	208.0	2021款日本超轻书包小学生女大容量一二三到六年级儿童书包男护
66 	59.0　	双肩包男士大容量商务电脑旅游旅行背包女大学生高中初中学生书 
67 	149.0	鳄鱼男士双肩包大容量商务休闲电脑背包旅行时尚潮流初中学生书 
68 	69.9　	迪卡侬双肩包男背包书包户外包运动登山包女休闲旅行学生轻便ODA
69 	88.0　	凯蒂猫女童一二三到六年级女孩超轻护脊减负儿童双肩包小学生书 
70 	149.0	安踏背包男女双肩包2021新款黑色书包学生电脑包户外运动旅行背
71 	135.0	旅行背包男士大容量超大休闲出差旅游特大书包80升行李大号双肩
72 	258.0	日本KYOSHO拉杆书包静音小学生男孩女生儿童大容量防水可爬楼初
73 	49.0　	双肩包女2021新款韩版牛津布小背包女士百搭时尚大容量帆布书包
74 	149.0	uek小学生书包男孩女生一二三四五六年级护脊双肩6-12岁轻便儿
75 	59.9　	儿童书包男童一到三四五六年级男孩小学生背包大童卡通超轻便护 
76 	3105.0	金实佳 日本代购 ISSEYMIYAKE 三宅一生 双肩包 磨砂黑书包 背
77 	49.9　	迪卡侬官方旗舰店官网儿童运动背包轻便登山包双肩包学生书包KID
78 	79.0　	诺狐婴幼儿园书包女孩男孩3岁5大班小班宝宝儿童防走失背包女 
79 	178.0	帆布共和国2021新款双肩包女男背包大容量简约时尚百搭撞色书包
80 	118.0	迪士尼书包小学生男童三到六年级四五护脊减负一二儿童男2021新
81 	59.0　	巴布豆儿童书包男童1-3-4-6年级轻便减负防水护脊女童书包小学生
82 	580.0	Samsonite/新秀丽双肩包女小包 休闲时尚双肩背包简约商务书包TQ
83 	399.0	Fjallraven/北极狐双肩背包kanken mini 迷你情侣书包背包女2356
84 	138.0	旅行包男户外登山休闲超大容量旅游双肩书包出差背包女行李多功 
85 	900.0	Gaston Luga电脑双肩包男皮大容量书包男时尚潮流百搭旅行背包
86 	249.0	国家地理背包女运动户外时尚电脑双肩包男旅行防水学生情侣书包 
87 	599.0	Samsonite/新秀丽儿童书包小学生一六低高年级男女孩双肩背包TU
88 	198.0	瑞士军刀双肩包男休闲大容量书包瑞士军士刀男士电脑商务旅行背 
89 	29.0　	【急速发货】小米双肩包小背包男女运动包休闲双肩包学生书   
90 	178.0	瑞士军士刀双肩包男背包商务出差电脑旅行包大容量初高中学生书 
91 	118.0	瑞士双肩包男超大容量休闲商务旅行电脑背包男士高中初中学生书 
92 	149.0	双肩包女2021新款时尚韩版百搭大容量牛津布简约旅行防盗背包书

Process finished with exit code 0