【笔记】慕课-Python网络爬虫与信息提取-re库（3）

match对象

一次匹配的结果，包含很多匹配的相关信息

match对象的属性：

.string
待匹配的文本

.re
匹配时使用的pattern对象（正则表达式）re.compile( r )

.pos
正则表达式搜索文本的开始位置

.endpos
正则表达式搜索文本的结束位置

match对象的方法

.group(0)
可以获得第一次匹配后的字符串结果

.start()
匹配字符串在原始字符串的开始位置

.end()
匹配字符串在原始字符串的结束位置

.span()
返回(.start(),.end())元组类型

re的贪婪匹配和最小匹配

默认使用贪婪匹配，当使用re.search()以及.group(0)时有多个字符串符合，返回匹配最长的子串

最小匹配在贪婪匹配的基础上进行拓展：在正则表达式中适当添加‘?’（前一个字符0次或1次拓展）

最小匹配操作符

*?
前一个字符*表示的是0次或无限次拓展时的最小匹配

+?
前一个字符+表示的是1次或无限次拓展时的最小匹配

??
前一个字符?表示的是0次或1次拓展时的最小匹配

{m,n}?
拓展的是前一个字符m至n次（含n）时的最小匹配

实例2 淘宝商品比价定向爬虫

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格

向淘宝提交关键词的接口 https://s.taoobao.com/search?q=书包

翻页显示的接口连接 url最后有个’&s=44’（第二页第一个商品的起始编号）’&s=88’（第三页）

import requests
import re

def getHTMLText(url):
	try:
		r=requests.get(url,timeout=30)
		r.raise_for_status()
		r.encoding=r.apparent_encoding
		return r.text
	print()
		return""
		
def parsePage(ilt,html):	#对每一个获得的页面进行解析，需要提前观察url的html内容页，该页面可直接对源代码进行搜索获得相关信息，不需要用到beautifulsoup库，使用正则表达式
	#该实例的核心函数。正确设计正则表达式则是该核心函数的核心
	try:
		plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
		tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)
		for i in range(len(plt)):
			price=eval(plt[i].split(':')[1])	
			#eval函数：去除字符串的最外层双引号或单引号
			#split函数：通过使用冒号：来分割字符串并获得键值对的后面部分
			title=eval(tlt[i].split(':')[1])
			ilt.append([price,title])
	except:
		print()
	
def printGoodsList(ilt):	#将淘宝商品输出到屏幕上
	tplt="{:4}\t{:8}\t{:16}"
	#通过大括号来定义槽函数，即format函数冒号前的部分。第一个位置长度为4，以此类推
	print(tplt.format("序号","价格","商品名称"))
	#打印表头
	count=0
	for g in ilt:
		count=count+1
		print(tplt.format(count,g[0],g[1]))
	#我更想学习如何直接输出到exel表格
	
def main():
	goods='书包'
	depth=2
	start_url='https://s.taoobao.com/search?q='+goods
	infoList=[]
	#保存结果信息的列表
	for i in range(depth):
		try:
			url=start_url+'&s='+str(44*i)
			html=getHTMLText(url)
			parsePage(infoList,html)
			#处理每个页面的解析过程
		except:
			continue
			#如果出现异常情况，那么continue继续下一个页面的解析，不影响程序的整体执行
	printGoodsList(infoList)

main()

实例3 股票数据定向爬虫

目标：获取上交所和深交所所有股票的名称和交易信息
输出：保存到文件中

技术路线：requests-bs4-re

选取股票数据来源网站的原则：股票信息静态存在与HTML页面中，非JavaScript代码生成，无robots协议限制

F12：查看当前页面的文件信息

import requests
from bs4 import BeautifulSoup
import traceback
import re

def getHTMLText(url):
	try:
		r=requests.get(url,timeout=30)
		r.raise_for_status()
		r.encoding=r.apparent_encoding
		return r.text
	print()
		return""

def getStockList(lst,stockURL):		#lst：列表保存的列表类型，用于存储所有股票的信息；stockURL：获得股票列表的url网站
	html=getHTMLText(stockURL)
	soup=BeautifulSoup(html,'html.parser')
	a=soup.find_all('a')	#找到该东方财富网页中所有的a标签
	for i in a :	#对a标签中的每一个进行遍历
		try:
			href=i.attr['href']
			#所有股票代码存在于href键值对中的url中
			lst.append(re.findall(r"[s][hz]\d{6}",href)[0])
		except:
			continue
			
def getStockInfo(lst,stockURL,fpath):	#保存所有股票信息的列表，获得股票信息的url网站，文件路径
	for stock in lst:
		url=stockURL+stock+".html"
		#构造访问百度股票的url
		html=getHTMLText(url)
		try:
			if html==""
				continue
			infoDict={}
			#存储当前从一个页面中返回或记录的所有个股的信息
			soup=BeautifulSoup(html,'html.parser')
			stockInfo=soup.find('div',attrs={'class':'stock-bets'})
			name=stockInfo.find_all(attrs=('class':'bets-name'))[0]			#findall和find_all的区别？
			infoDict.update({'股票名称':name.text.split()[0]})	#用空格分割
			#将股票信息增加到字典中
			keyList=stockInfo.find_all('dt')
			valueList=stockInfo.find_all('dd')
			#用标签找到分别存储键和值的内容
			for i in range(len(keyList)):
				key=keyList[i].text
				val=valueList[i].text
				infoDict[key]=val		#向字典中新增内容
			with open(fpath,'a',encoding='utf-8')as f:
				f.write(str(infoDict)+'\n')
		except:
			traceback.print_exc()
			#追踪错误信息
			continue
	
def main():
	stock_list_url='http://quote.eastmoney.com/stocklist.html'
	stock_info_url='https://gupiao.baidu.com/stock/'
	output_file='D://BaiduStockInfo.txt'
	slist=[]	#存储股票信息的列表
	getStockList(slist,stock_list_url)
	getStockInfo(slist,stock_info_url,output_file)

main()