三、数据解析

最新推荐文章于 2023-01-03 20:22:46 发布
最新推荐文章于 2023-01-03 20:22:46 发布
阅读量849 收藏 3
点赞数 1
分类专栏： Python爬虫 文章标签： python 开发语言 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Poolhuang/article/details/126806129
版权

目录

1、数据解析原理概述

2、数据解析的分类

3、聚焦爬虫

4、文件写入形式

5、数据解析的详解及实战

案例1：正则解析爬取页面所有图片

案例2、bs4进行数据解析

案例3、xpath数据解析

1、数据解析原理概述

解析的局部文本内容都会在标签之间或者标签对应的属性中进行存储。

  1. 进行指定的标签定位；
  2. 标签或者标签中对应的属性中存储的数据进行提取（解析）

2、数据解析的分类

  • 正则
  • bs4
  • xpath（*****）

3、聚焦爬虫

爬取页面中指定的页面内容。

编码流程：

  • 指定url
  • 发起请求
  • 获取响应数据
  • 数据解析
  • 持久化存储

4、文件写入形式

  • ‘r’：只读。该文件必须已存在。
  • ‘r+’：可读可写。该文件必须已存在，写为追加在文件内容末尾。
  • ‘rb’：表示以二进制方式读取文件。该文件必须已存在。
  • ‘w’：只写。打开即默认创建一个新文件，如果文件已存在，则覆盖写(即文件内原始数据会被新写入的数据清空覆盖)。
  • ‘w+’：写读。打开创建新文件并写入数据，如果文件已存在，则覆盖写。
  • ‘wb’：表示以二进制写方式打开，只能写文件， 如果文件不存在，创建该文件；如果文件已存在，则覆盖写。
  • ‘a’：追加写。若打开的是已有文件则直接对已有文件操作，若打开文件不存在则创建新文件，只能执行写(追加在后面)，不能读。
  • ‘a+’：追加读写。打开文件方式与写入方式和'a'一样，但是可以读。需注意的是你若刚用‘a+’打开一个文件，一般不能直接读取，因为此时光标已经是文件末尾，除非你把光标移动到初始位置或任意非末尾的位置。

5、数据解析的详解及实战

案例1：正则解析爬取页面所有图片

#conding:utf-8
##需求：爬取今日头条文章中的所有图片
import requests,re,os
if __name__ == '__main__':
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./图片采集'):
        os.mkdir('./图片采集')
    url = 'https://www.toutiao.com/article/7133370308483875332/?log_from=e4be24a887381_1662889167393'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0',
        'cookie':'__ac_nonce=0631da83e00da50e351b1; msToken=jJMUn7b31BeJ4-2wwIsjy5Sbdtwb_3h_AAjUoneFz_SVcBEtdiFuFHZMqZW3aTkC-lHww6klWDmeBS-AJN6Fm1sF34Bj69IlBqESGh4AWT__; __ac_signature=_02B4Z6wo00f01b9noSgAAIDAoyQflJ3BRGm.VqWAAAzF2d; MONITOR_WEB_ID=5c0feb10-ec7f-44c4-8082-5e7bee3cb1b5; ttwid=1%7CkuDq-8ovtRvlQdoL5pwn7hMReI9GwRZuvnB5_6X_lig%7C1662889168%7C952a47eeec11c4eeb583ec4b9ef017d50c8abce4fd06cac127421209717e2449; tt_webid=7142049544879900191; ttcid=21315e87fadc484b8bc757825b9c745128; local_city_cache=%E6%B7%B1%E5%9C%B3; csrftoken=58f033666f965f462ac0e09657d6a1a2; _tea_utm_cache_24=undefined; s_v_web_id=verify_l7x4l0mj_8KRLiQXq_IXgH_4N2B_BBI1_3YrgSk6ESqDX; __feed_out_channel_key=gallery; tt_scid=WMQ2X.0H0YOTnk.cS5jnNnlqCHnlJkgQx5PK481GNwOV3VSvBRiISQprxOuWcf0U492d'
    }
    #使用通用爬虫对url对应的一整张页面进行爬取
    page_text = requests.get(url=url,headers=headers).text
    #print(page_text)

    #使用聚焦爬虫将页面中所有的图片进行解析/提取
    ex = '<img src="(.*?)" img_width.*?>'
    img_src_list = re.findall(ex,page_text,re.S)
    #print(img_src_list)
    #请求到的图片进行二进制处理
    for src in img_src_list:
        src = src.replace('\n','')
        img_data = requests.get(url=src,headers=headers).content
        img_name = src.split('=')[-1]
        #图片存储的路径
        img_path = f'./图片采集/{img_name}.jpg'
        with open(img_path,'wb') as f:
            f.write(img_data)
            print(img_name,'采集成功')

注：正则表达式一些可选标志修饰符

修饰符描述
re.I使匹配对大小写不敏感
re.L做本地化识别（locale-aware）匹配
re.M多行匹配，影响 ^ 和 $
re.S使 . 匹配包括换行在内的所有字符
re.U根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解

正则表达式中，“.”的作用是匹配除“\n”以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。a字符串有每行的末尾有一个“\n”，不过它不可见。

如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

案例2、bs4进行数据解析

0x01.原理：

  • 实例化一个BeautifulSoup对象，并且将页面源代码数据加载到该对象中.（from bs4 import BeautifulSoup）
  • 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

0x02.对象实例化：

  • 将本地的html文档中的数据加载到该对象中：

fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')

  • 将互联网上获取的页面源码加载到该对象中：

page_text = response.text
soup = BeautifulSoup(page_text,'lxml')

0x03.用于数据解析的方法和属性：

  • soup.tagname：返回的是文档中第一次出现tagname对应的标签；
  • soup.find():等同于soup.tagname,但他还可以属性定位：soup.find('div',class_='***')(注：class要接个下划线才是名称，否则为关键字）
  • soup.find_all('tagname'):找出符合要求的所有标签；
  • select：参数当中可以放置一些选择器，返回的是一个列表—>select('某种选择器（id，class，标签...）')，例如:①、select（'.tang > ul > li > a'），>表示的是一个层级，②、select（'.tang > ul >  a'）空格表示的是多个层级，因此①结果等同于②；

0x04.获取标签之间的文本数据——>soup.a.text/string/get_text(),text/get_text()可以获取某一个标签中所有的文本内容，string只可以获取该标签下的直系文本内容

0x05.获取标签中的属性值——>soup.a['href']

0x06.案例：

#conding:utf-8
##需求：抓取古文网站论语
import requests,os
from bs4 import BeautifulSoup
if __name__ == '__main__':
    if not os.path.exists('./书籍采集'):
        os.mkdir('./书籍采集')
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0'
    }
    url = 'https://so.gushiwen.cn/guwen/book_46653FD803893E4F75696240258265D2.aspx'
    page_text = requests.get(url=url,headers=headers).text
    #print(page_text)
    #实例化个对象
    soup = BeautifulSoup(page_text,'lxml')
    tag_list = soup.select('.bookcont > ul > span')
    #print(tag_list)
    fp = open('./书籍采集/论语.txt','w',encoding='utf-8')
    #解析章节标题和详情页url
    for span in tag_list:
        title = span.a.string
        #print(title)
        detail_url = span.a['href']
        #print(detail_url)
        #对详情页发起请求解析章节内容
        detail_page_text = requests.get(url=detail_url,headers=headers).text
        #print(detail_page_text)
        #解析出详情页中相关的章节内容
        detail_soup = BeautifulSoup(detail_page_text,'lxml')
        div_tag = detail_soup.find('div',class_="contson")
        #解析章节内容
        conten = div_tag.text
        #print(conten)
        #持久化存储
        fp.write(title+conten+'\n')
        print(title,'采集成功')

案例3、xpath数据解析

0x01.原理：

  • 实例化一个etree对象，并且将页面源代码数据加载到该对象中.（from lxml import etree）
  • 通过调用etree对象中xpath方法结合xpath表达式实现标签的定位和内容捕获，

0x02.对象实例化：

  • 将本地的html文档中的数据加载到etre对象中：etree.parse(filepath)
  • 将互联网上获取的页面源码加载到etree对象中：etree.HTML(page_text)

0x03.xpath表达式：

  • /：表示的是从根节点开始定位，表示的是一个层级。
  • //：表示的是多个层级，表示从任意位置开始定位。
  • 属性定位：格式为：tag[@attrName='value']，例：//div[@class=’song‘]
  • 索引定位： 索引是从1开始的。例：//div[@class='song']/p[3]
  • 取文本：①、/text() 获取的是标签中直系的文本内容；②、//text()获取的是非直系的文本内容（所有文本内容）
  • 取属性：/@attrName：直接/@加上属性名称（eg：img/@src）

0x04.实例1：爬取58二手房中的房源信息

#conding:utf-8
import requests
from lxml import etree
##需求：爬取58二手房中的房源信息
if __name__ == '__main__':
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0'
    }
    #爬取页面源码
    url = 'https://sz.58.com/ershoufang/'
    page_text = requests.get(url=url,headers=headers).text
    #数据解析
    tree = etree.HTML(page_text)
    list = tree.xpath('//section[@class="list"]/div')
    #print(list)
    fp = open('58二手房信息.txt','w',encoding='utf-8')
    for div in list:
        #局部解析，注：局部解析以.开头
        title = div.xpath('.//div[@class="property-content-title"]/h3/text()')[0]
        print(title)
        fp.write(title+'\n')

实例2：爬取图片

#conding:utf-8
import requests,os
from lxml import etree
##需求：解析下载图片数据
if __name__ == '__main__':
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0'
    }
    #获取页面源码
    url = 'http://pic.netbian.com/4kmeinv/'
    response = requests.get(url=url,headers=headers)
    #response.encoding = 'utf-8'
    page_text = response.text
    #数据解析
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]//li')
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./图片采集'):
        os.mkdir('./图片采集')
    for li in li_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/img/@alt')[0] + '.jpg'
        #通用处理中文乱码解决方案
        img_names = img_name.encode('iso-8859-1').decode('gbk')
        #print(img_names,img_src)
        img = requests.get(url=img_src,headers=headers).content
        img_path = '图片采集/' + img_names
        with open(img_path,'wb') as fp:
            fp.write(img)
            print(img_names+'下载成功')

实例3：解析全国城市名称

#conding:utf-8
import requests
from lxml import etree
##需求：爬取网站中全国城市名称：https://www.aqistudy.cn/historydata/
if __name__ == '__main__':
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0'
    }
    #获取页面源码
    url = 'https://www.aqistudy.cn/historydata/'
    page_text = requests.get(url=url,headers=headers).text
    #数据解析
    tree = etree.HTML(page_text)
    # hot_city_list = tree.xpath('//div[@class="bottom"]/ul/li')
    # all_city_names = []
    # for li in hot_city_list:
    #     hot_city_names = li.xpath('./a/text()')[0]
    #     all_city_names.append(hot_city_names)
    # other_city_list = tree.xpath('//div[@class="bottom"]/ul/div[2]/li')
    # for li in other_city_list:
    #     other_city_names = li.xpath('./a/text()')[0]
    #     all_city_names.append(other_city_names)
    # print(all_city_names,len(all_city_names))
    #利用|将者结合
    all_city_list = tree.xpath('//div[@class="bottom"]/ul/li/a | //div[@class="bottom"]/ul/div[2]/li/a')
    all_city_names = []
    for a in all_city_list:
        all_city_name = a.xpath('text()')
        all_city_names.append(all_city_name)
        print(all_city_names,len(all_city_names))

实例4：爬取站长素材中免费简历模板

#conding:utf-8
import requests,os
from lxml import etree
if __name__ == '__main__':
    if not os.path.exists('./简历模板'):
        os.mkdir('./简历模板')
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0'
    }
    #获取首页页面源码
    for page in range(1,6):
        if page == 1:
            url = 'https://sc.chinaz.com/jianli/free.html'
        else:
            url = 'https://sc.chinaz.com/jianli/free_{}.html'.format(page)
        page_text = requests.get(url=url,headers=headers).text
        #对首页进行数据解析
        tree = etree.HTML(page_text)
        div_list = tree.xpath('//div[@id="main"]/div/div')
        for div in div_list:
            #获取首页简历模板下载地址
            muban_url = 'https:' + div.xpath('./a/@href')[0]
            #print(muban_url)
            #获取某一简历模板页面下载地址页面源码
            response = requests.get(url=muban_url,headers=headers)
            response.encoding = 'utf-8'
            reload_text = response.text
            #print(reload_text)
            #数据解析某一简历模板页面
            _tree = etree.HTML(reload_text)
            down_list = _tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li[1]/a')
            title_list = _tree.xpath('//div[@class="bread clearfix"]/a[3]')
            #print(_div_list)
            #获取简历模板地址+名称
            for a in title_list:
                title = a.xpath('./@title')[0]
                #print(title)
            for a in down_list:
                down_add = a.xpath('./@href')
            #对简历模板发起请求
            for down_url in down_add:
                muban_data = requests.get(url=down_url,headers=headers).content
                #print(muban_data)
                #持久化存储
                filepath = f'简历模板/{title}.rar'
                with open(filepath,'wb') as fp:
                    fp.write(muban_data)
                    print(title+'下载成功！！！')

Poolhuang
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Android XML数据的三种解析方式
09-01
Android XML 数据解析是Android开发中常见的一种数据处理方式，它主要用于读取和处理XML格式的配置文件或数据传输。XML（eXtensible Markup Language）是一种结构化数据表示语言，适用于存储和交换数据。在Android中...
03爬虫基础知识-数据解析
10-24
本节我们将深入探讨“03爬虫基础知识-数据解析”这一主题，包括数据解析的重要性和常用方法。 一、数据解析的重要性 1. 提取有价值信息：网络上的数据海量且杂乱，通过数据解析可以将有用信息从无结构或半结构化的...
爬虫04——数据解析（一）
m0_48936146的博客
04-27 1000
回顾——聚焦爬虫： 爬取页面中指定的页面内容；获得相应的数据信息之后的处理我们就称之为数据解析 编码流程： — 指定url — 发起请求 — 获取响应数据 — 数据解析 — 持久化存储 数据解析分类： — 正则 — bs4 — xpath(通用性较强) 数据解析原...
【python】几种常见的数据解析方式，你习惯用哪种呢？
weixin_63466470的博客
09-24 1538
我们在使用爬虫获取数据时，通常需要先通过某种方式定位到数据所在，然后再进行爬取，而这种方式就是数据解析，数据解析有多种方法，下面我介绍几种常见的数据解析方式。。。
JSON数据解析
最新发布
保持热爱，奔赴山海。
01-03 2865
在建立该对象时需要提供一个参数，也就是括号中的参数capacity。这部分语句的作用是使用deserializeJson来对JSON文件进行解析。+30这些额外增加的数值是由于ArduinoJson库在解析信息时，需要额外的空间来复制JSON信息。使用了JSON_OBJECT_SIZE(2)这条指令。JSON字符串数据示例： "name" : "taichi-maker"这条语句的作用是建立字符串变量，改变里用于存储需要解析的JSON信息。“JSON数据名”：JSON数据值。
数据分析常用6种分析思路
热门推荐
数智物语
03-19 5万+
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | CrossHands 作者 | Ahong 作为数据分析师，你是否常因为缺乏分析思路，而被以下问题影响到幸福感(甚至怀疑人生)？ 1. 新上线某个产品，需要监控转化率效果，既要看总体情况，也要看细分渠道； 2. 策划营销活动，预算有限...
数据解析的妙用
candice931020的博客
10-22 185
如果您从事开发工作（无论您是开发团队的成员还是在需要经常与技术团队沟通的公司工作），您很可能会遇到数据解析这个术语。简单地说，这是一个将一种数据格式转换为另一种更易读的数据格式的过程。 在本文中，我们将更深入地探讨什么是数据解析，并讨论哪一种方案对业务更有利，是构建内部数据解析器，还是购买一个已经对数据进行解析的数据 （https://oxylabs.io/blog/what-is-data-extraction）。 什么是数据解析？ 数据解析是一种广泛使用的数据结构化方法；因此，当..
ios 后台数据解析
09-01
本教程将详细讲解四种主要的数据解析方法：纯代码解析、第三方库解析、Swift Codable协议以及使用苹果提供的Foundation框架。这些方法各有优缺点，适用于不同的项目需求。 1. **纯代码解析** 在没有使用任何第三方...
SECSII数据解析浅谈
08-22
总的来说，掌握SECSII协议解析涉及对消息格式的理解、数据类型的识别、16进制到ASCII的转换以及解析规则的运用。通过对这些知识点的深入学习和实践，工程师可以更有效地应对液晶行业中设备与服务器间通讯的各种挑战...
Soap格式数据解析
07-23
2. **KissXML (DDXML)**：这是一个流行的第三方XML库，提供更高级的API，使解析XML数据更加便捷。 3. **Third-party库**：例如SOAPClient，专门用于处理SOAP请求和响应。它们通常提供更高层次的抽象，简化了与SOAP...
自制【CAN数据解析小工具】
weixin_38222172的博客
04-07 2万+
一步步对照协议解析CAN数据的过程是痛苦的，为了以后方便调试，同时练练手，自制了这么个小工具，在此做个笔记。 上大学时学过一学期的vb6，那时是为了应付考试做了一个双色球选号的工具，当时VB6给我的感觉就是很丑很像上个世纪的东西（事实确实是这样- -！），并不难，因为当时轻轻松松就做了一个小软件。如今工作中需要，开始查资料，做上位机用什么众说纷纭，基于以...
python 字符串前面加 f
binqiang2wang
03-20 1万+
代码中遇到奇怪的语法： info_str = f'{info_str}{rank}) {airport[0]}, {airport[1]}\n' 查资料发现原来是Python3.6之后新加的功能。 ok, 装3.6，直接官网下载安装（exe安装的时候记得添加路径到path一定要选上）。 安装结束之后，因为我原本安装的就有3.5，想要调用安装好的3.6，需要改一个名字，具体的操作是在Py...
Python路径无效问题
Along1617188的博客
08-02 4084
Python输入路径时，受 "\" 转义的影响，当遇到特殊字符时，如 "\t" "\0"等，路径会因为转义原因失效。两种解决方法： path = 'D:\word\\t' #通过加入\\来改变部分转义 path = r'D:\word\t' #路径前面加r会使路径失去转义含义，较推荐 ...
文档流数据解析
2026的博客
11-01 1323
文档流的处理
解析数据文件(二)
m15217321304的博客
03-21 725
接着解析数据文件(一) BBED> p rowdata <=======这个就是需要解析的数据了 ub1 rowdata[0] @8119 0x2c ub1 rowdata[1] @8120 0x01 ub1 rowdata[2] ...
数据解析
zmj11_的博客
04-25 262
数据解析对爬虫程序就如同是导盲犬对盲人一样，数据解析是爬虫程序的灵魂所在，所以我们今天来学习数据解析。 首先最常用的三种数据解析方式有（beautifulSoup4库解析、xpath解析、正则表达式解析）三种。 我们今天先来说说beautifulSoup4库解析。 BeautifulSoup4库 利用BeautifulSoup4库解析的大致思路是： 1.首先实例化一个BeautifulSoup对象 2.利用实例化出来的BeautifulSoup对象的属性和方法进行数据解析。 3.数据的持久化存储。 实例化B
Android系列---JSON数据解析
weixin_33744854的博客
11-27 307
您可以通过点击 右下角 的按钮 来对文章内容作出评价, 也可以通过左下方的 关注按钮 来关注我的博客的最新动态。 如果文章内容对您有帮助, 不要忘记点击右下角的 推荐按钮 来支持一下哦 如果您对文章内容有任何疑问, 可以通过评论或发邮件的方式联系我: 501395377@qq.com / lzp501395377@gmail.com 如果需要转载，请注明出处，谢谢！...
谈如何解析Html并抓取数据
lee576的专栏
03-28 1万+
最近加入了一家新公司，他们是一家电商，业务是网上虚拟充值，我进去是做OA里面的财务，本来想到的是做一做信息管理的，没想到还涉及到去别的网站采集数据（解析Html，最终用采集到的数据生成财务凭证）这一环，这个是我从来接触过的领域，大致看了一下，目的也就是解析网页的HTML从中找出需要的数据。那么问题来了，该怎样找到这些信息？ 由于实质就是在一堆文本里面“挖出”你要的东西，比如网页里面的Title
解析数据的步骤
weixin_30408309的博客
02-23 239
解析数据的步骤 1、plist文件数据 //获取文件路径 NSString *filePath = [[NSBundle mainBundle] pathForResource:@"Student" ofType:@"plist"]; //从文件路径中提取数组 NSArray *array = [NSArray arrayWithContent...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值