正则表达式学习

2.3 学习正则表达式 re

2.3.1 为什么使用正则表达式？

典型的搜索和替换操作要求您提供与预期的搜索结果匹配的确切文本。虽然这种技术对于对静态文本执行简单搜索和替换任务可能已经足够了，但它缺乏灵活性，若采用这种方法搜索动态文本，即使不是不可能，至少也会变得很困难。

通过使用正则表达式，可以：

- 测试字符串内的模式。
    例如，可以测试输入字符串，以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。
- 替换文本。
    可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。
- 基于模式匹配从字符串中提取子字符串。
    可以查找文档内或输入域内特定的文本。

可以使用正则表达式来搜索和替换标记。

使用正则表达式的优势是什么？ 简洁

• 正则表达式是用来简洁表达一组字符串的表达式
• 正则表达式是一种通用的字符串表达框架
• 正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具
• 正则表达式可以用来判断某字符串的特征归属

正则表达式在文本处理中十分常用：

• 同时查找或替换一组字符串
• 匹配字符串的全部或部分(主要)

2.3.2 正则表达式语法

正则表达式语法由字符和操作符构成:

• 常用操作符
  • . 表示任何单个字符
  • 字符集，对单个字符给出取值范围 ，如[abc]表示a、b、c，[a‐z]表示a到z单个字符
  • [^ ] 非字符集，对单个字符给出排除范围 ，如[^abc]表示非a或b或c的单个字符
  • • 前一个字符0次或无限次扩展，如abc* 表示 ab、abc、abcc、abccc等
  • • 前一个字符1次或无限次扩展 ，如abc+ 表示 abc、abcc、abccc等
  • ? 前一个字符0次或1次扩展 ，如abc? 表示 ab、abc
  • | 左右表达式任意一个 ，如abc|def 表示 abc、def
  • {m} 扩展前一个字符m次 ，如ab{2}c表示abbc
  • {m,n} 扩展前一个字符m至n次（含n） ，如ab{1,2}c表示abc、abbc
  • ^ 匹配字符串开头 ，如^abc表示abc且在一个字符串的开头
  • $ 匹配字符串结尾 ，如abc$表示abc且在一个字符串的结尾
  • ( ) 分组标记，内部只能使用 | 操作符 ，如(abc)表示abc，(abc|def)表示abc、def
  • \d 数字，等价于[0‐9]
  • \w 单词字符，等价于[A‐Za‐z0‐9_]

2.3.3 正则表达式re库的使用

• 调用方式：import re
• re库采用raw string类型表示正则表达式，表示为：r’text’，raw string是不包含对转义符再次转义的字符串;

re库的主要功能函数：

• re.search() 在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
  • re.search(pattern, string, flags=0)
• re.match() 从一个字符串的开始位置起匹配正则表达式，返回match对象
  • re.match(pattern, string, flags=0)
• re.findall() 搜索字符串，以列表类型返回全部能匹配的子串
  • re.findall(pattern, string, flags=0)
• re.split() 将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
  • re.split(pattern, string, maxsplit=0, flags=0)
• re.finditer() 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
  • re.finditer(pattern, string, flags=0)
• re.sub() 在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
  • re.sub(pattern, repl, string, count=0, flags=0)
  • flags : 正则表达式使用时的控制标记：
    • re.I --> re.IGNORECASE : 忽略正则表达式的大小写，[A‐Z]能够匹配小写字符
    • re.M --> re.MULTILINE : 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
    • re.S --> re.DOTALL : 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

re库的另一种等价用法（编译）

• regex = re.compile(pattern, flags=0)：将正则表达式的字符串形式编译成正则表达式对象

re 库的贪婪匹配和最小匹配

• .* Re库默认采用贪婪匹配，即输出匹配最长的子串
• *? 只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配

2.3.4 实战：淘宝商品比价定向爬虫

• 爬取网址：https://s.taobao.com/search?q=书包&js=1&stats_click=search_radio_all%25

• 爬取思路：

  1. 提交商品搜索请求，循环获取页面
  2. 对于每个页面，提取商品名称和价格信息
  3. 将信息输出到屏幕上

  导入包

  import requests
  import re

1. 提交商品搜索请求，循环获取页面

   def getHTMLText(url):
   “”"
   请求获取html，（字符串）
   :param url: 爬取网址
   :return: 字符串
   “”"
   try:
   # 添加头信息,
   kv = {
   ‘cookie’: ‘thw=cn; v=0; t=ab66dffdedcb481f77fd563809639584; cookie2=1f14e41c704ef58f8b66ff509d0d122e; tb_token=5e6bed8635536; cna=fGOnFZvieDECAXWIVi96eKju; unb=1864721683; sg=%E4%B8%8B3f; l_g=Ug%3D%3D; skt=83871ef3b7a49a0f; cookie1=BqeGegkL%2BLUif2jpoUcc6t6Ogy0RFtJuYXR4VHB7W0A%3D; csg=3f233d33; uc3=vt3=F8dBy3%2F50cpZbAursCI%3D&id2=UondEBnuqeCnfA%3D%3D&nk2=u%2F5wdRaOPk21wDx%2F&lg2=VFC%2FuZ9ayeYq2g%3D%3D; existShop=MTU2MjUyMzkyMw%3D%3D; tracknick=%5Cu4E36%5Cu541B%5Cu4E34%5Cu4E3F%5Cu5929%5Cu4E0B; lgc=%5Cu4E36%5Cu541B%5Cu4E34%5Cu4E3F%5Cu5929%5Cu4E0B; cc=WqG3DMC9EA%3D%3D; dnk=%5Cu4E36%5Cu541B%5Cu4E34%5Cu4E3F%5Cu5929%5Cu4E0B; nk=%5Cu4E36%5Cu541B%5Cu4E34%5Cu4E3F%5Cu5929%5Cu4E0B; cookie17=UondEBnuqeCnfA%3D%3D; tg=0; enc=2GbbFv3joWCJmxVZNFLPuxUUDA7QTpES2D5NF0D6T1EIvSUqKbx15CNrsn7nR9g%2Fz8gPUYbZEI95bhHG8M9pwA%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=32_1; alitrackid=www.taobao.com; lastalitrackid=www.taobao.com; swfstore=97213; x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0%26__ll%3D-1%26_ato%3D0; uc1=cookie16=UtASsssmPlP%2Ff1IHDsDaPRu%2BPw%3D%3D&cookie21=UIHiLt3xThH8t7YQouiW&cookie15=URm48syIIVrSKA%3D%3D&existShop=false&pas=0&cookie14=UoTaGqj%2FcX1yKw%3D%3D&tag=8&lng=zh_CN; JSESSIONID=A502D8EDDCE7B58F15F170380A767027; isg=BMnJJFqj8FrUHowu4yKyNXcd2PXjvpa98f4aQWs-RbDvsunEs2bNGLfj8BYE6lWA; l=cBTDZx2mqxnxDRr0BOCanurza77OSIRYYuPzaNbMi_5dd6T114_OkmrjfF96VjWdO2LB4G2npwJ9-etkZ1QoqpJRWkvP.; whl=-1%260%260%261562528831082’,
   ‘user-agent’: ‘Mozilla/5.0’
   }
   r = requests.get(url, timeout=30, headers=kv)
   # r = requests.get(url, timeout=30)
   # print(r.status_code)
   r.raise_for_status()
   r.encoding = r.apparent_encoding
   return r.text
   except:
   return “爬取失败”

2. 对于每个页面，提取商品名称和价格信息

   def parsePage(glist, html):
   ‘’’
   解析网页，搜索需要的信息
   :param glist: 列表作为存储容器
   :param html: 由getHTMLText()得到的
   :return: 商品信息的列表
   ‘’’
   try:
   # 使用正则表达式提取信息
   price_list = re.findall(r’“view_price”:"[\d.]"’, html)
   name_list = re.findall(r’“raw_title”:".?"’, html)
   for i in range(len(price_list)):
   price = eval(price_list[i].split("😊[1]) #eval（）在此可以去掉""
   name = eval(name_list[i].split("😊[1])
   glist.append([price, name])
   except:
   print(“解析失败”)

3. 将信息输出到屏幕上

   def printGoodList(glist):
   tplt = “{0:^4}\t{1:6}\t{2:^10}”
   print(tplt.format(“序号”, “商品价格”, “商品名称”))
   count = 0
   for g in glist:
   count = count + 1
   print(tplt.format(count, g[0], g[1]))

   根据页面url的变化寻找规律，构建爬取url

   goods_name = “书包” # 搜索商品类型
   start_url = “https://s.taobao.com/search?q=” + goods_name
   info_list = []
   page = 3 # 爬取页面数量

   count = 0
   for i in range(page):
   count += 1
   try:
   url = start_url + “&s=” + str(44 * i)
   html = getHTMLText(url) # 爬取url
   parsePage(info_list, html) #解析HTML和爬取内容
   print("\r爬取页面当前进度: {:.2f}%".format(count * 100 / page), end="") # 显示进度条
   except:
   continue

   爬取页面当前进度: 100.00%

   printGoodList(info_list)

   序号 商品价格 商品名称
   1 139.00 卡拉羊双肩包书包男女潮流中学生书包初中生
   2 149.00 鳄鱼男士双肩包商务休闲电脑帆布背包旅游旅行包时尚潮流学生书包
   3 59.00 电脑背包男士双肩包旅行大容量时尚潮流高中初中学生书包女大学生
   4 79.90 背包男士双肩包时尚潮流旅行包轻便旅游电脑包休闲高中大学生书包
   5 69.90 HK双肩包男简约书包时尚潮流休闲电脑包旅行轻便高中生大学生背包
   6 219.00 NIKE耐克双肩包男包女包官网旗舰高中初中运动包学生书包旅行背包
   7 62.90 书包男韩版原宿ulzzang高中双肩包女中学生大容量初中生背包ins潮
   8 279.00 简佰格2020年新款春书包森系束口抽绳包女双肩背包休闲文艺小清新
   9 279.00 Jordan 官方 AIR JORDAN 双肩包 书包背包
   CW7699
   10 248.00 简佰格双肩包女2020新款时尚韩版书包ins风学生包包百搭旅游背包
   11 149.00 阿迪达斯双肩包男包女包大容量户外休闲运动包学生书包登山包背包
   12 119.00 mracehomme2020新款韩版潮流学生书包女时尚拼色百搭双肩包男背包
   13 89.00 背包男士简约时尚街头潮流个性书包休闲轻便电脑包旅行户外双肩包
   14 899.00 【买1送1】Fion/菲安妮大牌双肩包女 2020新款印花背包旅行书包
   15 329.00 新款双肩包女韩版学生初高中书包大运动包校园电脑背包男潮甜甜圈
   16 1098.00 Herschel Dawson大号时尚双肩包 Surplus系列休闲背包书包10649
   17 748.00 Herschel x Coca Cola联名款双肩包 Nova中号背包 学生书包10503
   18 288.00 【新品】JanSport杰斯伯双肩包女学生书包电脑包休闲背包4QUT5L8
   19 439.00 kipling男女大容量电脑背包2020年新款旅行包书包双肩包|BACKPACK
   20 69.00 牛津布双肩包女2020新款潮韩版时尚百搭大学生书包旅行帆布小背包
   21 79.00 电脑包男双肩包商务笔记本背包男士大容量15.6寸旅行出差休闲书包
   22 612.00 FILA斐乐童装男女童双肩包小学生书包初中儿童背包中学生时尚包包
   23 589.00 双肩包男士背包商务休闲旅行背包防盗旅游包女大中学生书包电脑包
   24 149.00 花花公子男士背包2020年新款商务电脑双肩包高中学生大容量书包
   25 479.00 Fjallraven/瑞典北极狐双肩包kanken书包女电脑旅行背包官方23510
   26 239.00 Hype双肩包女迷你小包百搭逛街用mini小背包ins风潮牌大学生书包
   27 118.00 得力B1双肩包韩版大容量休闲高中学生旅行背包电脑包时尚书包男女
   28 699.00 kipling女士帆布背包2020年新款时尚简约休闲潮流书包双肩包|ROSE
   29 358.00 JanSport杰斯伯官网旗舰店31升双肩背包男旅行包女生书包T29A 04W
   30 149.00 【直降20】小米双肩包书包男女笔记本电脑包时尚潮流旅行背包
   31 139.00 Skechers斯凯奇2020春夏青少年男女童实用休闲双肩包书包L120K048
   32 239.00 Skechers斯凯奇青少年款男女童学生双肩背包大容量书包L419K019
   33 449.00 伊米妮2019年新款尼龙书包女韩版百搭高中大容量休闲差旅双肩背包
   34 498.00 Tiger Family护脊减负书包 小学生3-5年级儿童女12周岁男童背包
   35 99.00 儿童书包小学生女一二三到六年级韩版减负护脊男孩轻便防水书包
   36 89.00 双肩包女士时尚潮流大学生书包女韩版高中大容量电脑包男旅行背包
   37 289.00 Hype双肩包女背包植物印花森系ins风潮流时尚百搭大学生潮牌书包
   38 699.00 北极狐laptop笔记本电脑包13/15/17英寸男女手提双肩背包学生书包
   39 118.00 kk树书包小学生女孩6-12岁儿童一二三到六年级女童双肩包护脊减负
   40 59.00 木村耀司书包中学生初中生女韩版高中双肩包背包小学生百搭大容量
   41 169.00 mracehomme环保料简约书包男高中生大容量双肩包女电脑包旅行背包
   42 408.00 FILA斐乐小学生书包大容量男女童背包2020春新款儿童双肩包3M反光
   43 79.90 森马双肩包女小韩版原宿旅行校园卡通迷你背包时尚潮流书包大学生
   44 189.00 得力B5双肩背包大容量休闲高中学生背包书包男女全方位反光条初中一体开合书包简约
   45 349.00 CHARLES＆KEITH女包CK2-80840173-1粗链条翻盖单肩情书包婚包
   46 2699.00 OFF-WHITE箭头印花尼龙双肩背包男女包包大容量新款书包牛津布
   47 499.00 FION/菲安妮新款双肩包旅行包 女士印花背包青年防水名牌书包小包
   48 798.00 ito双肩包男商务设计师电脑包女皮质背包书包ins韩版原宿ulzzang
   49 798.00 ito双肩包男商务设计师电脑包女皮质背包书包ins韩版原宿ulzzang
   50 438.00 tigerfamily小学生书包1-3年级男女孩儿童书包减负护脊背包6周岁
   51 199.00 小米双肩包商务旅行背包大容量书包男士时尚多功能笔记本电脑包
   52 128.00 凯蒂猫小学生书包女童1-3-4三年级女孩护脊太空减负儿童双肩背包
   53 639.00 暇步士背包男双肩包真皮大容量休闲商务电脑包时尚潮流旅行包书包
   54 349.00 CHARLES＆KEITH情书包CK2-80840128朋克粗链条拼色女士单肩包婚包
   55 1588.00 【GPS定位】英国AnythingStudio小学生书包 儿童女进口英伦日本风
   56 149.00 鳄鱼男士双肩包商务休闲电脑帆布背包旅游旅行包时尚潮流学生书包
   57 118.00 kk树书包小学生男孩1-3-4-5年级儿童背包女孩6-12周岁双肩包护脊
   58 199.00 PUMA彪马官网正品双肩包男包女包2020春季新款运动包学生书包背包
   59 239.00 NIKE耐克双肩包男包女包学生书包运动包大容量电脑包背包潮CT6154
   60 288.00 简佰格包包女包新款2020韩版百搭大容量时尚双肩背包书包女大学生
   61 288.00 【新品】JanSport杰斯伯双肩包女学生书包背包星空图案4QUT56L
   62 298.00 双肩包韩版百搭小包包女包2020新款书包女潮耐脏大学生上课包背包
   63 479.00 Fjallraven/北极狐书包kanken双肩包女户外包运动背包男23510
   64 659.00 kipling男女款大容量轻便帆布包时尚简约校园潮书包双肩包|SEOUL
   65 699.00 kipling男女款大容量轻便帆布包简约复古休闲潮书包双肩包|MICAH
   66 288.00 【新品】JanSport杰斯伯双肩包女学生书包男背包运动休闲背包4QUT
   67 498.00 Herschel City中号限量款双肩包女2019新款背包男书包时尚10486
   68 79.00 双肩包男士大容量初中学生高中大学生书包时尚潮流电脑旅行背包男
   69 698.00 Herschel Retreat经典色时尚潮流男女双肩包书包背包潮牌10066
   70 79.00 男士初中学生书包时尚潮流大容量双肩包高中大学生休闲旅行背包男
   71 419.00 Fjallraven/北极狐双肩包kanken mini 迷你情侣书包背包女23561
   72 169.00 小米 米兔儿童书包 6-12岁男女小学生潮双肩背包幼儿园大容量背包
   73 799.00 FION菲安妮双肩包女潮流女式旅行包 时尚书包防水女士背包妈妈包
   74 399.00 FILA斐乐童装旗舰店儿童双肩包小学生书包男童女童低年级背包新款
   75 599.00 Fion/菲安妮时尚潮流双肩包女 小怪兽可爱学生书包简约女士小背包
   76 119.00 KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减负
   77 616.00 FILA斐乐童装双肩包小学生书包初中儿童背包3D护脊书包带反光条
   78 115.00 瑞士军刀双肩包男背包休闲商务旅行大容量瑞士书包男生电脑男士包
   79 139.00 uek小学生书包男孩女生一三五 六年级护脊双肩6-12岁轻便减压儿童
   80 2180.00 FREITAG F49 FRINGE 双肩包 旅行背包书包 瑞士环保潮流包
   81 159.00 mracehomme双肩包女时尚撞色百搭高中学生书包大容量休闲背包男
   82 699.00 皮尔卡丹男士双肩包时尚潮流商务旅行包书包简约休闲男包电脑背包
   83 469.00 Doughnut Macaroon甜甜圈粉彩背包旅行书包户外学生双肩包女新款
   84 119.00 瑞士军士刀双肩包男大容量瑞士军刀旅行电脑背包男士初中学生书包
   85 59.90 韩版ins暗黑系休闲双肩包男女简约工装高中学生书包大容量背包潮
   86 69.00 初中生书包女韩版高中学生ins风大容量双肩包大学生时尚潮流背包
   87 125.00 得力B4书包小学生男孩1-3-4-5年级儿童背包女孩6-12周岁双肩包初中大容量休闲校园书包小学升学开学套餐组合
   88 378.00 tigerfamily儿童书包小学生一年级1-3 女男6岁耐磨减负护脊双肩包
   89 49.00 背包男士潮牌大容量时尚韩版高中学生书包女旅行包潮流工装双肩包
   90 149.00 华为旗下荣耀亲选双肩包书包背包男女学生商务大学生大容量防水
   91 129.00 babycare宝宝入园书包婴 幼儿园小书包3岁男女儿童防走失背包可爱
   92 349.00 CHARLES＆KEITH 情书包 CK2-80840173-1朋克粗链条翻盖单肩包女
   93 349.00 CHARLES＆KEITH 情书包 CK2-80840128 金属粗链条单肩婚包枣红色
   94 59.00 电脑背包男士双肩包旅行大容量时尚潮流高中初中学生书包女大学生
   95 59.80 商务背包男士双肩包韩版潮流旅行休闲女中学生书包简约时尚电脑包
   96 139.00 花花公子男士双肩包时尚潮流休闲初中学生书包大学生电脑旅行背包
   97 9390.00 FENDI/芬迪 经典款多色FF老花包包女复古时尚双肩包背包书包女包
   98 178.00 凯蒂猫书包小学生女童一三四年级6-10岁女孩减负护脊儿童双肩包
   99 209.00 EVB双肩包女韩版潮甜甜圈电脑背包男初中高中大学生书包校园旅行
   100 179.00 TYAKASHA塔卡沙双肩包郊游系列学生上学户外旅行男女双肩背包书包
   101 580.00 Samsonite/新秀丽双肩包包2020新款 书包女ins风背包旅行包TQ4
   102 359.00 MYD双肩包女书包韩版大学生初中高中生中学生ins风肩包电脑背包男
   103 498.00 ito双肩包男商务设计师电脑包14寸女潮流书包ins风小背包时尚百搭
   104 2799.00 ECCO爱步双肩包女 时尚休闲迷你背包书包女包 柔酷粒纹3 9105533
   105 169.00 mracehomme双肩包男2020新款时尚撞色学生书包百搭大容量旅行包女
   106 199.00 爱果乐小学生书包女儿童背包超轻护脊减压双肩包男轻便减负可爱童
   107 799.00 Samsonite/新秀丽儿童书包小学生男孩女孩儿童轻便双肩背包 HB5
   108 59.00 巴布豆旗舰店书包1-3年级护脊减负儿童书包男4-6小学生书包轻便
   109 229.00 朱尔防盗双肩包女2020新款时尚牛津布女士背包百搭书包帆布女包包
   110 559.00 Fjallraven/北极狐双肩包女士休闲时尚书包kanken电脑旅行背包
   111 369.00 PUMA彪马双肩包女包2020新款运动包书包户外旅行包背包076599-02
   112 159.00 PUMA彪马官网正品男女双肩包2020新款学生书包旅游包休闲运动背包
   113 318.00 简佰格双肩包女2020年新款韩版大学生简约书包可斜挎可背两用背包
   114 498.00 Herschel City中号校园双肩包男书包背包潮牌女 ins 百搭10486
   115 799.00 kipling男女大容量背包时尚休闲简约电脑包书包旅行双肩包|SEOUL
   116 698.00 Herschel Dawson 迷你休闲双肩包女潮牌书包背包欧美街头10301
   117 299.00 小清新包包洋气背包双肩包2020年新款潮时尚书包百搭学生ins女包
   118 990.00 kipling男女大容量电脑背包2020年新款时尚书包旅行双肩包|SEOUL
   119 288.00 【新品】JanSport杰斯伯双肩包女学生书包男背包运动休闲背包47LW
   120 342.00 FILA斐乐童装儿童书包幼儿园书包男小童背包女可爱卡通宝宝双肩包
   121 69.00 初中学生书包男时尚潮流大容量双肩包旅行大学高中生背包运动风
   122 89.00 双肩包女2020新款包包时尚百搭防盗大容量旅行背包大学生书包ins
   123 258.00 电视剧款JanSport杰斯伯双肩包包时尚潮女书包背包男大容量电脑包
   124 579.00 FILA斐乐童装儿童双肩包男女童3D护脊高年级中小学生书包2020新款
   125 195.02 国家地理背包女运动户外时尚双肩包男牛津布旅行防水学生情侣书包
   126 168.00 kk树小学生拉杆书包1-3-6年级女童6-12周岁儿童公主防水轻便背包
   127 159.00 uek小学生书包男童一二三到六年级女童双肩背包轻便可爱儿童书包
   128 139.00 花花公子男士双肩包时尚潮流个性大学生书包休闲旅行电脑迷彩背包
   129 699.00 男士背包双肩包男时尚潮流休闲旅行背包真皮牛皮电脑包大容量书包
   130 259.00 Hype双肩包少女渐变小清新背包简约时尚百搭ins风潮牌大学生书包
   131 88.00 凯蒂猫书包小学生女童一二三六年级女孩减负轻便儿童休闲双肩背包
   132 188.00 ALL JOINT儿童书包可爱幼儿园双肩小甜甜圈彩虹幼儿背包女童包包
   133 1889.00 COACH/蔻驰包包奥莱款大号男士拉链开合皮质双肩背包书包54786
   134 2799.00 ECCO爱步双肩背包女 2020新款迷你时尚书包宽带单肩包包 9105533
   135 119.00 三美婴小学生书包男女童孩一二三到六年级减负护脊超轻儿童背书包
   136 68.00 汪汪队幼儿园书包男童女童1-3岁小孩卡通宝宝防走失儿童双肩背包5