python爬虫小案例_全国天气网

不知缘由

已于 2022-07-23 16:34:04 修改

阅读量417

点赞数

分类专栏： Python 相关 # Python # Python 爬虫文章标签： python 爬虫

于 2022-07-22 16:01:59 首次发布

本文链接：https://blog.csdn.net/Dina_p/article/details/125934260

版权

Python 同时被 3 个专栏收录

38 篇文章 9 订阅

订阅专栏

Python 相关

36 篇文章 3 订阅

订阅专栏

Python 爬虫

8 篇文章 2 订阅

订阅专栏

该博客演示了如何使用Python的requests和BeautifulSoup库来抓取并解析网页上的北京天气数据。代码首先定义了一个获取HTML内容的函数，然后通过这个函数获取指定URL的天气页面，接着找到包含天气信息的HTML标签，最后提取出日期、天气情况、温度、天气质量和风向等关键数据并进行格式化输出。

摘要由CSDN通过智能技术生成

查看北京的天气，查看页面的元素，找到需爬取的内容所在的标签：

提取上图框着内容，具体实现代码如下：

# 导入相关的包
import requests
import bs4
from bs4 import BeautifulSoup
import warnings
warnings.filterwarnings('ignore')

#定义获取页面内容的方法
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30,verify=False)        
        # #如果状态不是200，就会引发HTTPError异常
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
    
# 爬取 北京的天气
url = 'https://tianqi.so.com/weather/101010100'
html = getHTMLText(url)
soup = BeautifulSoup(html, 'lxml')


# 提取目标值
content_list = soup.find_all('ul', class_='weather-columns')


#格式化输出
tplt = "{0:^8}\t{1:^8}\t{2:^8}\t{3:^8}\t{4:^8}"
print(tplt.format('日期','天气情况','温度','天气质量','凤向情况')) 
for c in content_list:
    tmp = c.get_text()
    t0  = tmp.strip().split()[0] + tmp.strip().split()[1]
    t1  = tmp.strip().split()[2]
    t2  = tmp.strip().split()[3].split('℃')[0] + '℃'
    t3  = tmp.strip().split()[3].split('℃')[1][0]
    t4  = tmp.strip().split()[3].split('℃')[1][1:] + " "+tmp.strip().split()[4]    
    print(tplt.format(t0,t1,t2,t3,t4))

结果如下：