xml在线解析_python爬虫系列（3）- 网页数据解析（bs4、lxml、Json库）

最新推荐文章于 2023-04-28 13:00:11 发布

weixin_39844590

最新推荐文章于 2023-04-28 13:00:11 发布

阅读量411

点赞数

文章标签： xml在线解析安卓gson解析天气json数据获取json文件未更新

本文记录解析网页bs4、lxml、Json一些常用方法和使用样板

简介

通过requests库向网站请求网页，获得网页源代码之后，下一步的工作就需要对网页代码进行解析，方便后面的提取工作。

永恒君目前常使用的有lxml、bs4、json等库，本文就记录一些常用方法，以及一些使用样板。

bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。
官方文档： https:// beautifulsoup.readthedocs.io /zh_CN/v4.4.0/
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。

通常进行网页解析、提取数据组合会是这样：bs4 + lxml 或者 lxml+xpath，（xpath后面会介绍和用到）。

bs4、lxml主要针对的是html语言编写的代码，有时候请求的内容返回是Json代码，就需要用到Json库。

JSON 的全称是 Java Script Object Notation，即 JavaScript 对象符号，它是一种轻量级的数据交换格式。

bs4

from bs4 import BeautifulSoup as bs
soup = bs("<html>A Html Text</html>", "html.parser")

BeautifulSoup两个参数：第一个参数是要解析的html文本，第二个参数是使用那种解析器，对于HTML来讲就是html.parser，这个是bs4自带的解析器。

同时也可以使用lxml库来作为解析器，效率更高，方法是：

soup = bs("<html>A Html Text</html>", "lxml")

也就是说，BeautifulSoup可以使用自带解析器，也可以用lxml进行解析。

lxml

1、使用 lxml 的 etree 库，可以自动修正 HTML 代码。

# 导入 lxml etree 库
from lxml import etree

# 获取 html 内容 元素
htmlEmt = etree.HTML(text)
# 将内容元素转换为字符串
result = etree.tostring(htmlEmt)
# utf-8 格式输出
print(result.decode("utf-8"))

2、利用 parse 方法来读取文件

from lxml import etree
# text.xml 是一个 xml 文件，并在当前文件同目录下
htmlEmt = etree.parse('text.xml')

# pretty_print： 优化输出
result = etree.tostring(htmlEmt, pretty_print=True)
# 输出
print(result)

Json

常用的方法就是json.loads，用于解码 JSON 数据。该函数返回 Python 字段的数据类型。

import json

jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}';

text = json.loads(jsonData)
print text

常用的样板

bs4

#获取网页文章的标题
import requests
from bs4 import BeautifulSoup as bs#导入相关的库

url="http://www.yhjbox.com"
rec = requests.get(url=url)#请求网页
html = rec.text #.text方法获得字符串形式的网页源代码
soup = bs(html, "lxml")  #对网页进行解析
titles=soup.find_all('img',class_="thumb")  #获取文章标题

for title in titles:
    print(title.get('alt'))

lxml

#获取网站的标题
import requests
from lxml import etree#导入相关的库

url = 'https://www.ftms.com.cn/footernav/tendernotice'
data = requests.get(url) #获取 url 网页源码

data.encoding="utf-8"

html = etree.HTML(data.text)#将网页源码转换为 XPath 可以解析的格式

title = html.xpath('/html/head/title/text()') #获取title

print(title)

注意：使用.text方法有时候会解析不正常导致，返回的是一堆乱码。如果这时使用用.content.decode('utf-8')就可以使其显示正常，或者在解析之前加上data.encoding="utf-8"

Json

#获取智联招聘职位信息

import requests
from lxml import etree
import json

def get_urls():
    url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=90&cityId=765&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=pcb&kt=3&=0&_v=0.94714929&x-zp-page-request-id=ab2041e0e0b84d7'    
    rec = requests.get(url=url)
    if rec.status_code == 200:
        j = json.loads(rec.text) #解析之后的类型为字典类型
        results = j.get('data').get('results')
        for i in results:
            jobname=i.get('jobName')#获取职位名称
            print(jobname)

get_urls()

在上一篇文章中：充气娃娃什么感觉？Python告诉你
商品的评论文字就是通过Json解析并进行提取的。

你可能还会想看：

爬虫系列：

python爬虫系列（2）- requests库基本使用

python爬虫系列（1）- 概述

python实例：

python帮你定制批量获取你想要的信息

python帮你定制批量获取智联招聘的信息

用python定制网页跟踪神器，有信息更新第一时间通知你（附视频演示）

用python助你一键下载在线小说

教你制作一个微信机器人陪你聊天，只要几行代码

Google图片搜索出了大量满意图片，批量下载它们！

带你看看不一样的微信！

欢迎交流！

weixin_39844590

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
xml在线解析_python爬虫系列（3）- 网页数据解析（bs4、lxml、Json库）

本文记录解析网页bs4、lxml、Json一些常用方法和使用样板简介通过requests库向网站请求网页，获得网页源代码之后，下一步的工作就需要对网页代码进行解析，方便后面的提取工作。永恒君目前常使用的有lxml、bs4、json等库，本文就记录一些常用方法，以及一些使用样板。bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。官方文档：h...
复制链接

扫一扫