python爬虫基础（3）--数据解析

最新推荐文章于 2023-03-05 21:52:45 发布
最新推荐文章于 2023-03-05 21:52:45 发布
阅读量473 收藏 2
点赞数 1
分类专栏： 学习笔记 文章标签： python python爬虫基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mocoll/article/details/119388120
版权

三、数据解析

3.1、数据解析概述

3.1.1、聚焦爬虫

爬取页面中指定的页面内容。

3.1.2、数据解析分类

● 正则

● bs4

● xpath (***)

3.1.3、数据解析原理概述

● 解析的局部文本内容都会在标签之间或者标签对应的属性中进行存储。

● 进行指定标签的定位。

● 标签或者标签对应的属性中存储的数据值进行提取(解析)。

3.1.4、聚焦爬虫编码流程:

● 指定url

● 发起请求

● 获取响应数据

● 数据解析

● 持久化存储

3.2、正则数据解析

3.2.1、回顾正则表达式

在这里插入图片描述

3.2.2、补充

● text ：返回的是 字符串

● content： 返回的是 二进制数据

● json() ：返回的是 对象

3.2.3、案例

（爬取一张图片）

在这里插入图片描述

import json
import os

import requests

"""爬取图片数据"""
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
}
img_src_list = []
for page in range(1, 500):
    page = str(page * 30)
    url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=9400449794205827936&ipn=rj&ct=201326592&is=&fp=result&queryWord=" \
          "夏景&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E6%98%A5%E6%99%AF&s=&se=" \
          "&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=" + page + "&rn=30&gsm=78&1614841933309="
    # 使用通用爬虫对url对应的一整张页面进行爬取
    page_text = requests.get(url=url, headers=headers).json()
    fp = open("./ziyuan/pic.json", "w", encoding="utf-8")
    json.dump(page_text, fp=fp, ensure_ascii=False)
    for obj in page_text["data"]:
        src = obj["thumbURL"]
        pic = requests.get(url=src, headers=headers).content
        # 生成原始图片
        img_name = src.split("/")[-1]
        with open("./pics2/" + img_name, "wb")as fp:
            fp.write(pic)
（爬取所有图片）
import os
import re
import requests

"""爬取图片数据"""
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
}
img_src_list = []
for page in range(1, 10):
    page = str(page)
    url = "https://www.qiushibaike.com/imgrank/page/" + page + "/"
    # 使用通用爬虫对url对应的一整张页面进行爬取
    page_text = requests.get(url=url, headers=headers).text
    with open("./ziyuan/qiutubaike.html", "w", encoding="utf-8")as fp:
        fp.write(page_text)
    # 使用聚焦爬虫将页面中所有的图片进行解析/提取
    """
    <div class="thumb">
    <a href="/article/124115143" target="_blank">
    <img src="//pic.qiushibaike.com/system/pictures/12411/124115143/medium/L68F0NWALL6LSCJ5.jpg" alt="糗事#124115143" class="illustration" width="100%" height="auto">
    </a>
    </div>
    """
    # 提取<div class="thumb">标签下的 img标签的src
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    # 将另一个列表的信息添加到第一个列表
    img_src_list.extend(re.findall(ex, page_text, re.S))
if not os.path.exists("./pics"):
    os.mkdir("./pics")
for src in img_src_list:
    # 拼接完整的图片URL
    pic = requests.get(url="https:" + src, headers=headers).content
    # 生成原始图片
    img_name = src.split("/")[-1]
    with open("./pics/" + img_name, "wb")as fp:
        fp.write(pic)

在这里插入图片描述
在这里插入图片描述

3.3、BS4数据解析

3.3.1、解析原理

① 实例化一个BeautifulSoup对象， 并且将页面源码数据加载到该对象中

② 通过调用Beaut ifulSoup对象中相关的属性或者方法进行标签定位和数据提取。

3.3.2、环境安装

pip install bs4

pip install lxml

同requests

3.3.3、使用步骤

实例化BeautifulSoup对象:

① 导包：from bs4 import BeautifulSoup

② 实例化对象:

● 将本地的html文档中的数据加载到该对象中
在这里插入图片描述

● 将互联网上获取的页面源码加载到该对象中
在这里插入图片描述

③ 数据解析

3.3.4、用于数据解析的方法——定位标签

soup.tagName（标签名）:返回的是文档中第一次出现的tagName（标签名）对应的标签
在这里插入图片描述
soup.find():

find(‘tagName’):等同于soup.tagName

find(‘div’,class_/id/attr=’ ')：属性定位

soup.find_all(): 返回符合要求的所有标签，返回值是列表

**soup.select()：**相当于css中的选择器（类，id…），返回值是列表
在这里插入图片描述

注意：层级选择器 > 表示一个层级，空格表示多个层级

3.3.5、用于数据解析的方法——获取标签的文本数据

soup.find().text/string/get_text()

text/get_text() :可以获取某个标签中所有的文本内容

string:只可以获取该标签下面直系的文本内容

3.3.6、案例

在这里插入图片描述

import bs4
import lxml
import requests

"""爬取三国演义所有小说的章节和小说的内容"""
url = "http://www.loubiqu.com/0_383/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
}
page_text = requests.get(url=url, headers=headers).text.encode('ISO-8859-1')
soup = bs4.BeautifulSoup(page_text, "lxml")
dds = soup.select("#list > dl > dd")
fp = open("./yuanzun/元尊.txt", "w", encoding="utf-8")
for dd in dds:
    title = dd.a.string
    value_hrefs = url + dd.a['href']
    print(title + ":" + value_hrefs)
    value_page = requests.get(url=value_hrefs, headers=headers).text.encode('ISO-8859-1')
    value_soup = bs4.BeautifulSoup(value_page, "lxml")
    div = value_soup.find("div", id="content")
    value_text = div.text
    fp.write(title + ":" + value_text + "\n")

在这里插入图片描述

3.4、xpath数据解析

3.4.1、简介

最常用且最便捷高效的一种解析方式。通用性强。

3.4.2、解析原理

① 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

● 将本地的html文档中的源码数据加载到etree对象中:

etree.parse(filePath)

● 可以将从互联网上获取的源码数据加载到该对象中

etree.HTML(‘page_text’)

② 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

3.4.3、环境安装

pip install lxml

3.4.4、定位标签

● / : 表示的是从根节点开始定位，表示的是一个层级。
在这里插入图片描述
● // : 表示的是多个层级，可以表示从任意位置开始定位
在这里插入图片描述

● tag[@attrName=“attrValue”]: 属性定位

//div[@class=‘song’]
在这里插入图片描述

● **//div[@class=“song”]/p[1]😗*索引定位，索引从1开始
在这里插入图片描述

3.4.5、获取文本（属性）内容

● 获取文本内容

/text():获取的是标签中直系的文本内容

//text():获取标签中非直系的文本内容(所有的文本内容)

● 获取属性内容

/@attrName:获取对应属性值
在这里插入图片描述

3.4.6、案例

爬取4k图片

在这里插入图片描述

import requests
from lxml import etree

"""爬取4k图片"""
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
}
for page in range(1, 100):
    page = str(page)
    url = "https://pic.netbian.com/4kfengjing/index_" + page + ".html"
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)
    lis = tree.xpath('//div[@class="slist"]/ul/li')

    for li in lis:
        href = "https://pic.netbian.com" + li.xpath('./a/@href')[0]
        response = requests.get(url=href, headers=headers)
        # 手动设定编码格式
        # response.encoding = "gbk"
        pic_text = response.text
        pic_tree = etree.HTML(pic_text)
        title = pic_tree.xpath("//div[@class='photo-pic']/a/img/@alt")[0] + ".jpg"
        # 通用的处理中文乱码的解决方法
        title = title.encode("iso-8859-1").decode("gbk")
        pic_href = " https://pic.netbian.com" + pic_tree.xpath("//div[@class='photo-pic']/a/img/@src")[0]
        pic = requests.get(url=pic_href, headers=headers).content
        with open("./pic4k/" + title, "wb")as fp:
            fp.write(pic)
        print(title + "下载完成")
爬取城市名称信息：

在这里插入图片描述

修改：
在这里插入图片描述

修改：
在这里插入图片描述

import requests
from lxml import etree

"""爬取所有城市名称"""
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
}
url = "https://www.aqistudy.cn/historydata/"
page_text = requests.get(url=url, headers=headers).text
tree = etree.HTML(page_text)
# r_as = tree.xpath("//div[@class='bottom']/ul/li/a")
# q_lis = tree.xpath("//div[@class='all']/div[@class='bottom']/ul/div[2]/li")
# nums = tree.xpath("//div[@class='all']/div[@class='bottom']/ul/div[1]/b/text()")
# for a in r_as:
#     name = a.xpath("./text()")[0]
#     print(name, end="\t")
# print()
# for num in nums:
#     print(num)
#     for li in q_lis:
#         name = li.xpath("./a/text()")[0]
#         print(name, end=" ")
#     print()
a_list = tree.xpath("//div[@class='bottom']/ul/li/a "
                    "|"
                    "//div[@class='all']/div[@class='bottom']/ul/div[2]/li/a")
for a in a_list:
    print(a.xpath("./text()")[0])
print(len(a_list))
墨_风
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫基本步骤详解
english3465的博客
05-30 1031
python爬虫基本步骤详解
Python爬虫（三）——数据解析
weixin_47684422的博客
08-27 2398
将上一步获取到的数据进行筛选，从中选取我们想要的数据。
Beautiful Soup属性和方法及文档
滴水石穿
07-04 969
Beautiful Soup属性和方法
python爬虫之Beautiful Soup库，基本使用以及提取页面信息
10-04 5559
Python 爬虫正则表达式和re库在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
python数据解析之BeautifulSoup
good good study
09-27 3445
目录 数据解析 Beautiful Soup Beautiful Soup用法 案例—爬取三国演义章节及对应的内容 数据解析 数据解析就是将爬取到的整个页面中的局部的内容进行提取。python中常用的数据解析方式有以下三种： bs4（python中独有的） xpath（推荐，通用型强） 正则 数据解析原理概述： 首先我们知道需要解析（提取）的内容都会在标签之间或者标签对应的属性中进行存储 所以我们需进行指定标签的定位 然后将标签或者标签对应的属性中存储的数据值进行提取（解析） Bea
python爬虫学习案例-.数据解析.rar
最新发布
05-30
01.requets爬取图片·Py02.正则表达式爬取整页图片·Py03.正则表达式爬取多页图片.Py04.bs4解析基础.Py05.bs4爬取小说网小说.Py06.Xpath爬取58二手房信息,Py07.Xpath爬取美女图片·Py08.Xpath爬取全国城市名.Py
Python爬虫基础教程-主要讲解requests库
04-10
Python爬虫是指利用Python编程语言编写的一种网络爬虫程序，用于从互联网上获取、解析和提取网页数据。Python爬虫广泛应用于数据采集、搜索引擎优化、信息监控等领域。本教程将介绍Python爬虫的基础知识和常用技术，...
python爬虫学习案例-.亚马逊数据爬取.rar
05-30
07-2.保存数据到excel表 ...01 Sorftime插件信息爬取.Py02json解析案例学习.Py03,解析亚马逊排名数据(只有36条信息)04,解析行业头100名数据,Py05.解析json反斜杠,Py06.重新封装所得数据.Py07-1.保存数据到excel表,py
03爬虫基础知识-数据解析
10-24
本节我们将深入探讨“03爬虫基础知识-数据解析”这一主题，包括数据解析的重要性和常用方法。 一、数据解析的重要性 1. 提取有价值信息：网络上的数据海量且杂乱，通过数据解析可以将有用信息从无结构或半结构化的...
python爬虫学习案例-.字典形式爬取数据.rar
05-30
Python爬虫是编程领域中一个热门的技术，尤其在数据分析领域，它被广泛用来自动化收集网络上的信息。这个“python爬虫学习案例-.字典形式爬取数据.rar”压缩包文件显然是一个教学资源，旨在帮助初学者理解如何使用...
python爬虫：BeautifulSoup 使用select方法详解
起当风萧的博客
04-06 1万+
转载自 （“**[https://www.cnblogs.com/yizhenfeng168/p/6979339.html](https://www.cnblogs.com/yizhenfeng168/p/6979339.html)**”）。 ```html 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p...
Python中利用xpath解析HTML
PC13138的博客
04-07 697
　　在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析，获取抓取信息。 　　首先，我们需要安装一个支持xpath的python库。目前在libxml2的网站上被推荐的python binding是lxml，也有beautifulsoup，...
【Python爬虫】BS4（BeautifulSoup）常用属性及函数
TKK的博客
01-07 4260
隔离生活 Day 1 【Python爬虫】BS4（BeautifulSoup）常用属性及函数 文章目录【Python爬虫】BS4（BeautifulSoup）常用属性及函数一、获取标签1. soup.tagName2. soup.find(tagName)2.1 soup.find(tagName, class_/id/attr)3. soup.find_all(tagName)4. soup.select(css_selector)二、获取文本数据1. tag.text和tag.get_text()2.
Python发送Post请求及解析响应结果
weixin_44691253的博客
03-05 1万+
Python发送Post请求及解析响应结果
python 爬虫之select用法
qq_22592457的博客
07-09 1万+
在python爬取数据时，通过requests和BeautifulSoup把网页内容解析下来是第一步，这一步通常很简单，数据爬取的重头戏主要集中在所需内容的精准定位上，定位元素的方式有多种，今天主要讲一下select的用法。 需要注意一点，select用法会将所有满足条件的值取出，组成一个list select定位元素有5种方式： 一、通过标签名查找 用法：soup.select(标签名)...
爬虫笔记15：bs4中的select()方法、修改文档树
微信公众号进阶的阿牛哥的博客
05-15 1322
一、select（）方法 我们可以通过css选择器的方式来提取数据。但是需要注意的是这里面需要我们掌握css语法。 1、常用的几个查找方式： from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormo
爬虫初体验
weixin_42053787的博客
08-24 348
原创，转载注明出处 环境说明：由于BeautifulSoup不是Python标准库，需要在终端输入一行代码运行：pip install BeautifulSoup4 BeautifulSoup是如何解析和提取数据 一 解析数据 在括号中，要输入两个参数，第0个参数是要被解析的文本，注意了，它必须必须必须是字符串。括号中的第1个参数用来标识解析器，我们要用的是一个Python内置库：html.parser。（...
处理soup.select()中的填写以及爬取信息出现空列表的情况
Prodigal
11-04 1万+
soup.select以及爬取信息出现空列表的情况举例一、先说soup.select()中的填写方法一方法二headers的修改方法，以及伪造假登陆。修改headers伪造假登陆 举例 以爬取csdn首页为例 https://www.csdn.net/ 一、先说soup.select()中的填写 方法一 直接 检查 右键 copy–&amp;amp;gt;selector 有些网站做有反爬取，（例如58同城）...
soup.select()函数的使用用法
热门推荐
wei_lin的博客
10-07 3万+
soup.select()在源代码中的原型为: select(self, selector, namespaces=None, limit=None, **kwargs) 功能：查找html中我们所需要的内容 我们主要使用的参数是selector，其定义为”包含CSS选择器的字符串“。关于CCS，也需要了解一些概念，参考CCS语法与CSS Id 和 Class。 我们在写 CSS 时，标签名不加...
Python爬虫基础解析：数据获取与应用
"Python爬虫是Python编程语言在数据获取和分析...Python爬虫是数据科学和互联网分析的关键工具，它的学习涵盖了网络通信、网页解析、数据处理等多个方面，对于想要深入理解和利用网络数据的人来说，是一项必备技能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值