python bs4练习

最新推荐文章于 2022-10-18 23:01:04 发布

brkalsy

最新推荐文章于 2022-10-18 23:01:04 发布

阅读量281

点赞数 1

分类专栏： python爬虫笔记文章标签： xml

本文链接：https://blog.csdn.net/enginebrkalsy/article/details/116404396

版权

该博客介绍了如何使用BeautifulSoup库（BS4）来解析XML数据，详细讲解了从找到特定数据到提取广西和南宁地区信息的过程，强调了table标签和特定类在组织数据中的作用。

摘要由CSDN通过智能技术生成

解析数据用bs4

找寻数据

广西数据在这一条td中

在这里插入图片描述

南宁开始在第二个td

在这里插入图片描述

table标签代表一个省的所有数据

在这里插入图片描述

整个地区的数据在这个类里

在这里插入图片描述

# 获取全中国所有城市名字、温度保存到csv文件
# http://www.weather.com.cn/textFC/hb.shtml 华北地区
# http://www.weather.com.cn/textFC/db.shtml 东北地区
# http://www.weather.com.cn/textFC/hd.shtml 华东地区
# http://www.weather.com.cn/textFC/hn.shtml 华南地区
# http://www.weather.com.cn/textFC/gat.shtml 港澳台地区 网页源码有问题(标签有问题，缺了table，所以取的数据怪），要换解析器——不用lxml用html5lib
from bs4 import BeautifulSoup
import  requests
import  csv
import html5lib

titles =('城市','最低温度')
#定义函数解析网页url
def parsePage(url):
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
    }
    rep