台风路径1-通过python3.7.0获取台风路径历史轨迹点数据并插入到postgresql数据库中

2 篇文章 0 订阅
2 篇文章 0 订阅

1.爬取页面 http://typhoon.zjwater.gov.cn/default.aspx

F12 找到对应存储历史轨迹点的url.

2.通过python爬取数据并插入到postgresql数据库中。

import requests
import json
import  psycopg2
import cx_Oracle

url = "http://typhoon.zjwater.gov.cn/Api/TyphoonInfo/201911?callback=jQuery1830020370286197575638_1566524188610&_=1566524188868"

req_header = {
        "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36" ,
        "Referer": "http://typhoon.zjwater.gov.cn/default.aspx"
    }
r = requests.get(url, headers=req_header)
content_str = r.text[44:-3]
content_json = json.loads(content_str) #将字符串转为json对象
# print(content_json)
centerlat = content_json["centerlat"]
centerlng = content_json["centerlng"]
endtime = content_json["endtime"]
name = content_json["name"]
db = psycopg2.connect(database="postgis", user="postgres", password="postgres", host="127.0.0.1", port="5432")
print("已连接数据库")
cursor = db.cursor()
sql_del = "delete  from typhoon"
cursor.execute(sql_del)
db.commit()
for point in content_json["points"]:
    lat = point["lat"]#纬度
    lng = point["lng"]#经度
    movedirection = point["movedirection"]#移向
    movespeed = point["movespeed"]#移速
    power = point["power"]#风力值
    pressure = point["pressure"]#中心气压
    speed = point["speed"]  #风速
    strong = point["strong"]#风力文本
    # 使用 cursor() 方法创建一个游标对象 cursor
    sql_insert = "insert into typhoon (centerlat,centerlng,name,lng,lat,movedirection,movespeed,power,pressure,speed,strong) values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
    params = (centerlat, centerlng, name, lng, lat, movedirection, movespeed, power, pressure, speed, strong)
    # 使用 execute()  方法执行 SQL 查询
    cursor.execute(sql_insert, params)
    db.commit()
print("数据插入成功")

3.最后数据

  • 2
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值