爬虫之数据解析

目录复制

数据解析笔记

1.聚类爬虫：爬取页面中指定的页面内容
- 编码流程：
- 指定url
- 发起请求
- 获取响应数据
- 数据解析
- 持久化存储
2.数据解析分类：
正则
bs4
xpath（***）
3.数据解析原理概述：
- 解析的局部文本内容都会在标签之间或者标签对应的属性中进行存储
- 1.进行指定标签的定位
- 2.标签或者标签对应的属性中存储的数据数值进行提取（解析）

4.bs4进行数据解析：
- 数据解析的原理：
-1.标签定位
-2.提取标签、标签属性中存储的数据值
- bs4数据解析的原理：
- 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
- 2.通过调用BeautifulSoup对象中相关的属性或者方法进项标签定位和数据提取
- 如何实例化BeautifulSoup对象：
- from bs4 import BeautifulSoup
- 对象的实例化：
- 1.将本地的html文档中那个的数据加载到该对象中
fp = openn(’./test.html’,‘r’,encoding=‘utf-8’)
soup = BeautifulSoup(fp,‘lxml’)
- 2.将互联网上获取的页面源码加载到该对象中
page_text = response.text
soup = BeautifulSoup(page_text,‘lxml’)
- 提供的用于数据解析的方法和属性：
- soup.tagName:返回的是文档中第一次出现的tagName对应的标签
- soup.find():
-find(‘tagName’) ：等同于soup.div
- 属性定位：
- soup.find(‘div’,class_/id/attr = ‘content-box’
- soup.find_all(‘tagName’):返回符合要求的所有标签（列表）
- select：
-select(‘某种选择器(id,class,标签…选择器)’),返回的是一个列表。
-层级选择器：
- soup.select(’.content-box>p’)[1]， >表示的是一个层级
- soup.select(’.content-box p’) :空格表示的是多个层级
-获取标签之间的文本数据：
- soup.a.text/string/get_text()
- text/get_text():可以获取某一个标签中所有的文本内容
- string:只获取该标签下面直系的文本内容
- 获取标签中的属性值：
- soup.a[‘href’]
5.xpath解析：最常用且便捷高效的一种解析方式

-xpath解析原理：
-1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
-2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

-如何实例化一个etree对象：from lxml import etree
- 1.可以将本地的html文档中的源码加载到etree对象中
etree.parse(filePath)
- 2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)

• xpath(‘xpath表达式’)
• xpath表达式：
  • / ：表示的是从根节点开始定位。表示的一个层级
  • //：表示的是多个层级。可以表示从任意位置开始定位
  • 属性定位： //div[@class=“song”] tag[@attrName = “attrValue”]
  • 索引定位：//div[@class=“song”]/p[3] 索引是从1开始的。
  • 取文本：
    /text() 获取标签中直系的文本内容
    //text() 标签中非直系的文本内容（所有的文本内容）
  • 取属性：
    /@attrName ==> img/src

实战

爬取图片

import requests
#如何爬取图片数据
url = 'https://img1.baidu.com/it/u=304086679,2883345330&fm=26&fmt=auto&gp=0.jpg'
#content返回的是二进制形式的图片数据
#text（字符串）content(二进制）json（对象）
img_data = requests.get(url = url).content
with open('./qianxididi.jpg','wb') as fp:
	fp.write(img_data)

正则案例解析

爬取所有千玺弟弟的图片

import requests
import re
import os
#创建一个文件夹，保存所有的图片
if not os.path.exists('./qianxididiLibs'):
	os.mkdir('./qianxididiLibs')
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
#创建一个通用的url模板
url = 'https://www.ivsky.com/bizhi/yiyang_qianxi_t33073/index‘+‘%d'+'.html/'
for pageNum in range(1,9):
	new_url = format(url%pageNum)
#使用通用爬虫对url对应的一整张页面进行爬取
	page_text = requests.get(url = new_url,headers = headers).text
	#使用聚焦爬虫，将页面中所有的千玺弟弟图片进行解析、爬取
	ex = 'src="(.*?)" width='
	ll = 'alt="(.*?)">'
	img_src_list = re.findall(ex, page_text)
    img_alt_list = re.findall(ll, page_text)
	for i in range(0,len(img_alt_list)):
		src = 'https:' + img_src_list[i]
		print(src)
		img_name = img_alt_list[i] +'.jpg'
		img_data = requests.get(url=src,headers=headers).content
		
	#图片存储的路径
		imgPath='./qianxididiLibs/'+img_name
		with open(imgPath,'wb') as fp:
			fp.write(img_data)
			print(img_name,'下载成功')

bs4解析案例

#需求：爬取三国演义小说所有的章节标题和章节内容

from bs4 import BeautifulSoup
import requests
#对首页的页面数据进行爬取
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
url ='https://so.gushiwen.org/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx'
page_text = requests.get(url=url,headers=headers).text
#在首页中解析出章节的标题和详情页url
#1.实例化BeautifulSoup对现货，需要将页面源码数据加载到该对象中
soup = BeautifulSoup(page_text,'lxml')
#解析章节标题和详情页的url
span_list = soup.select('.bookcont > ul > span')
for span in span_list:
	title = span.a.string
	detail_url = span.a['href']
	#对详情页发起请求，解析出章节内容
	detail_page_text = requests.get(url=detail_url,headers=headers).text
	#解析出详情页中相关的章节内容
	detail_soup = BeautifulSoup(detaiil_page_text,'lxml')
	div_tag = detail_soup.find('div',class_ = 'contson')
	#解析到了章节的内容
	content = div_tag.text
	fp.write(title+':'+content+'\n')
	print(title,'爬取成功')

xpath案例解析

需求：爬取58二手房中的房源信息

import requests
from lxml import etree
#爬取到页面源码数据
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'
}
url = 'https://sy.58.com/ershoufang/'
pege_text = requests.get(url=url,headers=headers).text
#数据解析
tree = etree.HTML(page_text)
#存储的就是div标签对象
fp = open('58.txt','w',encoding='utf-8')
div_list = tree.xpath('//section[@class="list"]/div')
for div in div_list:
	title = div.xpath('./a/div[2]/div/div/h3/text()')[0]
	print(title)
	fp.write(title + '\n')