数据提取之JSON与JsonPATH

最新推荐文章于 2023-08-14 10:51:16 发布

徐加七

最新推荐文章于 2023-08-14 10:51:16 发布

阅读量675

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/xujiaqi1998/article/details/102831432

版权

本文介绍了JSON数据格式以及Python中json模块的使用，包括json.loads()、json.dumps()、json.dump()和json.load()。此外，还探讨了JsonPATH这一JSON数据提取工具，与XPath进行对比，并给出了JsonPATH的安装方法。

摘要由CSDN通过智能技术生成

案例：使用BeautifuSoup4的爬虫

我们以网易社招页面来做演示：

使用BeautifuSoup4解析器，将招聘网页上的职位名称、职位类别、招聘人数、工作地点、发布时间，以及每个职位详情的点击链接存储出来。

import json

import requests
from bs4 import BeautifulSoup


class WangYiSpider(object):
    def __init__(self):
        self.base_url = "https://hr.163.com/position/list.do?positionName=&currentPage="
        self.page = 1

        # 初始化一个字典列表,保存职位信息
        self.item_list = []
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}

    def send_request(self, full_url):

        response = requests.get(full_url, headers=self.headers)
        return response

    def parse_response(self, response):

        html = response.content.decode("utf-8")
        soup = BeautifulSoup(html, "lxml")
        node_list = soup.find_all("tr", attrs={
   "id":""})
        node_list.pop(0)
        for node in node_list:
            item = {
   }

            # 遍历css选择器列表
            for name in node.select("td a"):

                # 从a标签获取职位内容, 保存到字典中
                item["position_name"] = name.get_text()
            # 部门
            item["bumen"] = node.<