转：python爬虫爬取淘宝网页

源码

import requests
import re

\#获取页面函数
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()                #如果状态码不是200，将产生一个异常
        r.encoding=r.apparent_encoding      #编码形式改为从内容中分析出的编码
        return r.text                       #返回页面内容
    except:
        print("错误")

\#对页面进行解析
def parsePage(ilt,html):
    try:
        #在爬取下来的网页中进行查找价格
        plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        #原文本为 "view_price":"29.90"  第1/2/3/4/6/7表示转义符，*表示小数位数不限
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        #a.*?b 表示以a开始以b结束最短的  上面以"raw_title":" 开始，以"结束
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])      #分割plt，返回以 ： 分割的字符，分割1次
            title = eval(tlt[i].split(':')[1])      #此处eval（）用于取消文本的双引号
            ilt.append([price,title])               #将price，和title加到ilt列表末尾
    except:
        print("错误")

\#进行打印
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"                  #定义字符串格式
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
        count = count+1
        print(tplt.format(count,g[0],g[1]))    #按给定格式逐行输出

def main():
    goods ='书包'
    depth = 2
    start_url = 'https://s.taobao.com/search?q='+goods
    infoList = []
    for i in range(depth):
        try:
              #str函数的作用是将你其中的内容转换为字符串
              url = start_url + '&s='+str(44*i)
              #第二页网址为https://s.taobao.com/search?q=%E4%B9%A6%E5%8C%85&s=44
              html = getHTMLText(url)
              parsePage(infoList,html)
        except:
              continue
    printGoodsList(infoList)


main()

了解几个知识点

1、eval用法

https://blog.csdn.net/together_cz/article/details/72640276

2、findall用法

https://www.cnblogs.com/xieshengsen/p/6727064.html

追加：

\s匹配任意的空白符（包括空格，制表符(Tab)，换行符，中文全角空格）
\S则是任意不是空白符的字符
?涉及到贪婪模式
当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符。以这个表达式为例：a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。
有时，我们更需要懒惰匹配，也就是匹配尽可能少的字符。前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。现在看看懒惰版的例子吧：
a.*?b匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）
3、split
Python split()方法
Python 字符串 Python 字符串
描述—-Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串
语法
split() 方法语法：—–str.split(str=”“, num=string.count(str)).
参数
str – 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等。
num – 分割次数。
返回值—-返回分割后的字符串列表。

4、append（）
描述—–Python 列表 append() 方法用于在列表末尾追加新的对象。
语法—–L.append(obj)
参数—–obj – 追加到列表末尾的对象。
返回值–该方法无返回值，但会在原来的列表末尾追加新的对象。

新手记录