python爬取天气网

目录

用Python爬取中国天气网的天气预报信息

1. 获取HTML页面内容

2. 解析HTML并提取数据

3. 保存数据到CSV文件

4. 主函数

5. 爬虫脚本

---

用Python爬取中国天气网的天气预报信息

在这篇博客中，我将会展示如何使用Python编程语言来从中国天气网爬取天气预报信息。这将涵盖如何获取HTML页面，解析页面内容并从中提取我们需要的数据，以及如何将这些数据保存到CSV文件中。

首先，我们需要导入几个重要的Python库，这些库将帮助我们在网络上获取信息、解析HTML以及操作数据：

import requests
from bs4 import BeautifulSoup
import csv
import json

1. 获取HTML页面内容

我们将定义一个函数getHTMLtext(url)，这个函数接受一个URL，使用requests库去获取这个URL的HTML内容。如果访问成功，那么我们将返回HTML内容，否则返回一个空字符串：

def getHTMLtext(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        print("成功访问")
        return r.text
    except:
        print("访问错误")
        return " "