对BS4以及json的简单使用

本文介绍了如何在Python中使用BeautifulSoup4(BS4)库进行网页抓取,包括解析HTML、查找元素等基本操作。同时,也讲解了JSON数据格式的基础知识,以及如何在Python中对JSON数据进行编码和解码。通过实例,读者可以快速掌握这两个工具的基本用法。
摘要由CSDN通过智能技术生成
import csv, requests
from bs4 import BeautifulSoup
info = []
url1 = "http://bj.ganji.com/zufang/f4/pn"
headers = {
   "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36"}
for i in range(5):
    url=url1+str(i*1)
    r = requests.get(url, headers=headers)
    html = r.te
将HTML转换为JSON需要使用解析器和一些规则来遍历HTML文档并提取所需的数据。以下是一个使用Python和BeautifulSoup库将HTML转换为JSON的示例: ```python from bs4 import BeautifulSoup import json # 将HTML加载到BeautifulSoup对象 html = open('example.html').read() soup = BeautifulSoup(html, 'html.parser') # 创建一个空的字典来存储结果 data = {} # 遍历HTML文档的所有标签 for tag in soup.find_all(True): # 获取标签的名称和属性 tag_name = tag.name attributes = tag.attrs # 将标签的属性存储为字典 attr_dict = {} for attr in attributes: attr_dict[attr] = attributes[attr] # 如果标签已经存在,将其视为一个列表并添加到列表 if tag_name in data: if isinstance(data[tag_name], list): data[tag_name].append(attr_dict) else: data[tag_name] = [data[tag_name], attr_dict] else: # 否则,将标签添加到字典 data[tag_name] = attr_dict # 将数据转换为JSON格式并打印 json_data = json.dumps(data, indent=4) print(json_data) ``` 在这个示例,我们使用BeautifulSoup库解析HTML,并遍历所有标签。对于每个标签,我们获取其名称和属性,并将其存储为一个字典。如果标签名称已经存在于结果字典,我们将其视为一个列表并将其添加到列表。否则,我们只是将标签添加到字典。最后,我们将结果转换为JSON格式并将其打印出来。 请注意,这只是一个简单的示例,实际的HTML文档可能更复杂,需要更复杂的规则来提取所需的数据。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值