【python爬虫】爬取全国天气数据并存入数据库

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

爬取的网站：http://www.weather.com.cn/textFC
采用BeautifulSoup库爬取数据和pymysql导入数据库

一、导包

import requests
from bs4 import BeautifulSoup
import pymysql

二、代码

1.连接数据库

代码如下（示例）：

conn = pymysql.connect(host='localhost', user='root', passwd='密码', db='weather', port=3306, charset='utf8')
cursor = conn.cursor()
# 使用 execute() 方法执行 SQL，如果表存在则删除
cursor.execute("DROP TABLE IF EXISTS tianqi")
# 使用预处理语句创建表
cursor.execute("CREATE TABLE tianqi "
               "(city varchar(20) not null , weather varchar(20), wind varchar(20), wind_power varchar(20), max varchar(10), min varchar(10))")
conn.commit()

2.爬虫

代码如下（示例）：

# 定义一个函数解析网页
def parse_page(url):
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36'