- 新手初学,话不多说,直接放代码,需要的自取。
- 没有加每日自动运行的东西,回头研究一下。默认保存在代码目录的water_level.csv文件里,只保留了几个有用的信息。
- 回头研究一下http://www.cjh.com.cn/sqindex.html)数据,。看了一下网页,数据是存在js里的,还没有研究爬js的数据。
'''
@File : cq_water_level.py
@Time : 2022/12/03 10:31:18
@Author : erqie
@Version : 1.0
@Contact : erqie@sohu.com
@Function: 爬取每日数据
'''
__author__ = 'erqie'
import requests
import json
url = 'http://cqsw.slj.cq.gov.cn/hydrologyapi/stRiverR/dayWaterNotice'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'
}
resp = requests.post(url, headers=headers)
data_list = json.loads(resp.text)["data"]
with open('water_level.csv', 'a', encoding='utf-8') as f:
for s in data_list:
f.write(
f'{"".join(s.get("stcd").split())},{"".join(s.get("addvnm").split())},{"".join(s.get("stnm").split())},{"".join(s.get("tm").split())},{s.get("z")}\n'
)