淘宝商品信息定向爬虫

最新推荐文章于 2020-10-29 14:19:07 发布

wuerror

最新推荐文章于 2020-10-29 14:19:07 发布

阅读量703

点赞数 2

分类专栏： ctf 文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_40871137/article/details/80819111

版权

ctf 专栏收录该内容

28 篇文章 1 订阅

订阅专栏

这篇博客详细介绍了如何通过学习网课，利用正则表达式进行淘宝商品信息的定向抓取，涵盖了网页数据的解析与匹配过程。

摘要由CSDN通过智能技术生成

import requests
import re

这篇是学习网课，主要使用的是正则表达式匹配。

def getHTMLText(url):
    try:
        headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0'}
        r=requests.get(url,headers=headers,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "no"

def parsePage(ilt,html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price,title])
    except:
            print("no")

def printGoodslist(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count,g[0],g[1]))

def printGoodslist(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count,g[0],g[1]))

def main():
    goods = 'XXX'  //通过改变goods值来检索
    depth = 2
    start_url = 'https://s.taobao.com/search?q='+goods
    infolist = []#输出结果
    for i in range(depth):
        try:
            url = start_url+'&s='+str(48*i)#48是一页的商品数
            html = getHTMLText(url)
            parsePage(infolist,html)
        except:
            continue
    printGoodslist(infolist)
    
main()