python爬虫入门，获取全国气象站24小时整点气象数据

 

0.3792018.02.15 22:28:26字数 907阅读 3200

python爬虫入门，获取全国气象站24小时整点气象数据（一）
python爬虫入门，获取全国气象站24小时整点气象数据（二）
上一节我们已经成功获取了单个城市的天气数据，接下来我们就要扩展到获取全国所有城市地区的气象数据，很简单，一步一步来。

3.将数据存储到数据库

我们的目标是收集全国所有气象站每天24小时整点数据，数据量很大，所以需要将数据存储到数据库中。我们选择sqlite。
对应的python库是sqlite3。
首先建立数据库
数据库设计如下

• 地区编码，positionId，int
• 地区名，name，text
• 小时，date_time，date
• 温度，temperature， int
• 降雨量，rain，int
• 相对湿度，humidity，int
• 风向，windDirection，int
• 风速，windPower，int
• 全名，fullName，text
• 插入时间，createTime，text

建库建表代码：

import sqlite3
conn = sqlite3.connect("demo.db")  #直接在同级目录下创建名为demo的数据库
c = conn.cursor()
c.execute('''create table weather
            (positionId int not null,
            name text not null,
            date_time date not null,
            temperature int,
            rain int,
            humidity int,
            windDirection int,
            windPower int,            
            fullName text not null,
            createTime text not null DEFAULT (datetime('now','localtime')));''')

 

 

各个字段都在上一节获取到了。我们还需要获取fullname字段，地区全名，即如图所示的湖北>武汉>城区。