4.1正则表达式
正则表达式语法由字符和操作符构成
常用操作符
. 表示任何单个字符
[ ] 字符集，对单个字符给出取值范围[abc]表示a、b、c，[a‐z]表示a到z单个字符
[^ ] 非字符集，对单个字符给出排除范围[^abc]表示非a或b或c的单个字符
* 前一个字符0次或无限次扩展abc* 表示ab、abc、abcc、abccc等
+ 前一个字符1次或无限次扩展abc+ 表示abc、abcc、abccc等
? 前一个字符0次或1次扩展abc? 表示ab、abc
| 左右表达式任意一个abc|def 表示abc、def
{m} 扩展前一个字符m次ab{2}c表示abbc
{m,n} 扩展前一个字符m至n次（含n） ab{1,2}c表示abc、abbc
^ 匹配字符串开头^abc表示abc且在一个字符串的开头
匹配字符串结尾𝑎𝑏𝑐匹配字符串结尾abc表示abc且在一个字符串的结尾
( ) 分组标记，内部只能使用| 操作符(abc)表示abc，(abc|def)表示abc、def
\d 数字，等价于[0‐9]
\w 单词字符，等价于[A‐Za‐z0‐9_]
经典正则表达式
^[A‐Za‐z]+由26个字母组成的字符串[𝐴‐𝑍𝑎‐𝑧0‐9]+由26个字母组成的字符串[A‐Za‐z0‐9]+ 由26个字母和数字组成的字符串
^‐?\d+整数形式的字符串[0‐9]∗[1‐9][0‐9]∗整数形式的字符串[0‐9]∗[1‐9][0‐9]∗ 正整数形式的字符串
[1‐9]\d{5} 中国境内邮政编码，6位
[\u4e00‐\u9fa5] 匹配中文字符
\d{3}‐\d{8}|\d{4}‐\d{7} 国内电话号码，010‐68913536
ip地址
精确写法0‐99： [1‐9]?\d
100‐199: 1\d{2}
200‐249: 2[0‐4]\d
250‐255: 25[0‐5]
(([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5]).){3}([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5])
raw string类型（原生字符串类型）
re库采用raw string类型表示正则表达式，表示为：r’text’ 例如： r'[1‐9]\d{5}’ r’\d{3}‐\d{8}|\d{4}‐\d{7}’
raw string是不包含对转义符再次转义的字符串
re库也可以采用string类型表示正则表达式，但更繁琐
例如：
‘[1‐9]\\d{5}’
‘\\d{3}‐\\d{8}|\\d{4}‐\\d{7}’
建议：当正则表达式包含转义符时，使用raw string
re库主要功能函数
re.search() 在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match() 从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall() 搜索字符串，以列表类型返回全部能匹配的子串
re.split() 将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer() 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub() 在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
re.search(pattern, string, flags=0)
∙ pattern : 正则表达式的字符串或原生字符串表示
∙ string : 待匹配字符串
∙ flags : 正则表达式使用时的控制标记
常用标记
re.I re.IGNORECASE 忽略正则表达式的大小写，[A‐Z]能够匹配小写字符
re.M re.MULTILINE 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符
import re
match = re.search(r'[1-9]\d{5}','BIT 100081')
if match:
print(match.group(0))-
match() 在开始位置起
-
.findall() 搜索字符串返回全部
-
.split() 将一个字符串按照正则表达式匹配结果分割，列表
pattern,string,maxsplit=0,flags=0
maxsplit:最大分割数，剩余部分作为最后一个元素输出
import re re.split(r'[1-9]\d{5}','BIT100081 TSU100084') re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit=1)finditer() 搜索字符串返回匹配结果迭代类型，match对象
-
import re for m in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'): if m: print(m.group(0))sub() 替换所有匹配子串
pattern,repl, string, count=0, flags=0
repl：替换字符串
count:最大替换次数
-
import re re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 TSU100084')面向对象方式：编译后多次操作
pat = re.compile(r'')
rst = pat.search(目标串)
3 match对象的属性和方法
属性：
.string: 待匹配文本
.re: pattern对象 正则表达式
.pos: 搜索文本的开始位置
.endpos: 搜索文本的结束位置
方法：
.group(0): 获得匹配后的字符串
.start(): 匹配字符串在原始字符串的开始位置
.end(): 匹配字符串在原始字符串的结束位置
.span(): 返回( .start(), .end() )
4 贪婪匹配/最小匹配
Re库默认采用贪婪匹配，输出最长字符串
最小匹配方法：
*？
+？
？？
｛m,n｝？
import re
match = re.search(r'PY.*?N','PYANBNCNDN')
# PYAN淘宝商品定向爬虫实例
# -*- coding: utf-8 -*-
import requests
import re
def getHTMLText(url):
try:
headers = {
'authority': 'i.taobao.com',
'cache-control': 'max-age=0',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/79.0.3945.79 Chrome/79.0.3945.79 Safari/537.36',
'sec-fetch-user': '?1',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'sec-fetch-site': 'same-origin',
'sec-fetch-mode': 'navigate',
'referer': 'https://i.taobao.com/my_taobao.htm?spm=a1z02.1.1997525045.1.7ed8782d01orMX&nekot=srvSqsLytqvO9zEyMzQ11580371470661',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cookie': 'cna=aKSzFJReIwQCAd9ouU+xLVRl; tracknick=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; tg=0; thw=cn; enc=kGsJZRMi8sLuqaIqWGfVgr14lEDCu0rwoxrBwwSHirgO46pL0ejpWfUqsozPkB7LY6EHYAH5Vtod7SgL6yEZ0g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0; t=7866b67fcc4852b72dcc409df7ae3a8b; miid=1660903413519974036; cookie2=1960a680d2327d8ed55f3c437eb2214b; v=0; _tb_token_=e068eeeb73078; _samesite_flag_=true; tk_trace=oTRxOWSBNwn9dPyorMJE%2FoPdY8zfvmw%2Fq5hp3RAy%2BB78AjIISjkLHYxC8Hi9aw%2BOn1Mmce9eQe4dYqPFeIf6XFRwroDHstiDfCCbrEHSYdwVx950L8UOoTrt3BJfV2vZ%2BA6jqT%2B5VhwvgjZYCMJvCEmZmO0xfYbfqBf287WSjh6LG18k6Hldf2CO4Rn2vBLGtbNcU%2FZO3h0i6dEnWJAHewwcTX0neDO1L7a4l%2FsOwhIxi5MdPiVNGK5fPT3wWqUZPY2GJqry0h2hFZhgUPgoV%2Bp0jhF7gQ%3D%3D; lgc=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; dnk=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; mt=ci=26_1; _mw_us_time_=1580371451116; unb=2587169755; uc3=id2=UU26%2BwkfS3OYwA%3D%3D&vt3=F8dBxdrF9iQYli44QUg%3D&lg2=VT5L2FSpMGV7TQ%3D%3D&nk2=0XnmPO%2FdbuCfk4F7RgiV; csg=3695fb45; cookie17=UU26%2BwkfS3OYwA%3D%3D; skt=3549bd3e927e65a2; existShop=MTU4MDM3MTQ3MA%3D%3D; uc4=id4=0%40U2%2F9qCOWvqgfTzg6W4LH999hwpCV&nk4=0%4000HNS3vTfljhnAAFpXHEYObTzggZAuOMVzI%3D; _cc_=W5iHLLyFfA%3D%3D; _l_g_=Ug%3D%3D; sg=558; _nk_=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; cookie1=B0TxayK6e13xyAeqM1K%2FQv4uIYEG6Dw2mInyq8oCLsc%3D; l=cBg7nZncvrgIP5isBOCwnurza77OIIRAguPzaNbMi_5ac6L6-f7Ooq7dBFp6cjWd9TTB4Eg2dKJ9-eteiG4pJAR8E5vP.; isg=BF9fY4mpfSQzXXkWcOH0TOcU7rrpxLNmQdsNm_Gs9Y5VgH8C-Za6ttxSRhD-GIve; uc1=cookie16=URm48syIJ1yk0MX2J7mAAEhTuw%3D%3D&cookie21=WqG3DMC9Edo1TBf%2BcZ0sSw%3D%3D&cookie15=VFC%2FuZ9ayeYq2g%3D%3D&existShop=false&pas=0&cookie14=UoTUOqOukqta%2Fw%3D%3D&tag=8&lng=zh_CN',
}
params = (
('spm', 'a1z02.1.1997525045.1.6736782d9pnR2V'),
)
r = requests.get(url, headers=headers, params=params)
# NB. Original query string below. It seems impossible to parse and
# reproduce query strings 100% accurately so the one below is given
# in case the reproduced version is not "correct".
# response = requests.get('https://i.taobao.com/my_taobao.htm?spm=a1z02.1.1997525045.1.6736782d9pnR2V', headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
股票数据定向爬虫实例
import requests
from bs4 import BeautifulSoup
import traceback
import re
#获得URL对应的页面
def getHTMLText(url,code='utf-8'):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
'''
速度提高：编码识别的优化
r.apparent_encoding是将获得的html页面文本内容交给程序来判断
而r.encoding只是从html的头文件中解析其用的方式
'''
#r.encoding=r.apparent_encoding
r.encoding=code
return r.text
except:
return ""
#获得股票的信息列表
def getStockList(lst,stockURL):
html=getHTMLText(stockURL,'GB2312')
soup=BeautifulSoup(html,'html.parser')
#通过观察东方财富网的源代码，我们发现我们要找的股票代码都存在了<a>标签里，所以我们需要找到所有的<a>标签
a=soup.find_all('a')
for i in a:
# 我们找到<a>标签里面的href属性中的最后html前面有股票代码我们将其提取出来即可
# <a target="_blank" href="http://quote.eastmoney.com/sh201000.html">
# 股票代码的规律，上交所的为“sh+6位数字”，深交所的为“sz+6位数字”
try:
href=i.attrs['href']
lst.append(re.findall(r"[s][hz]\d{6}",href)[0])
except:
continue#出现异常程序继续执行即可，可能一些匹配出现问题
#获得每一个个股的股票信息，并将其存在一个文件中
def getStockInfo(lst,stockURL,fpath):
#在百度股票中
count = 0
for stock in lst:
print(stock)
url=stockURL+stock+".html"
html=getHTMLText(url)
try:
if html=="":
continue
#定义一个字典，存储从页面中返回的所有的个股信息
infoDict={}
soup=BeautifulSoup(html,"html.parser")
stockInfo=soup.find('div',attrs={'class':'stock-bets'})
name=stockInfo.find_all(attrs={'class':'bets-name'})[0]
#可能待会儿在这出现差错，是因为在东方财富网上的有关基金在百度股票网上找不到对应的股票
infoDict.update({'股票名称':name.text.split()[0]})
keyList=stockInfo.find_all('dt')
valueList=stockInfo.find_all('dd')
for i in range(len(keyList)):
key=keyList[i].text
val=valueList[i].text
infoDict[key]=val#字典的用法
#体验提高：增加动态进度显示
with open(fpath,'a',encoding='utf-8') as f:
f.write(str(infoDict)+'\n')
count+=1
print("\r当前进度：{:.2f}%".format(count*100/len(lst)),end="")#\r打印的内容会覆盖之前的内容
except:
#traceback.print_exc()#知道哪些地方发生了异常，获得错误信息
count+=1
print("\r当前进度：{:.2f}%".format(count * 100 / len(lst)), end="")
continue
if __name__ == '__main__':
stock_list_url="http://quote.eastmoney.com/stock_list.html"#股票列表的网站
stock_info_url='https://gupiao.baidu.com/stock/'
output_file="/home/george/Downloads/爬虫/BaiduStockInfo.txt'"
slist=[]#存储股票的信息
getStockList(slist,stock_list_url)
getStockInfo(slist,stock_info_url,output_file)
百度股票不行了，所以得不到个股信息
234
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
