python编程练习：爬虫爬取全国大江大河实时水情

一、功能介绍

基于python爬虫下载全国水雨情信息http://xxfb.mwr.cn/sq_djdh.html

---

二、网页分析

---

三、代码

import requests
import pandas as pd
import os

# 存储中英文对应的变量的中文名
word_dict = {"poiAddv": "行政区",
             "poiBsnm": "流域",
             "ql": "流量(立方米/秒)",
             "rvnm": "河名",
             "stcd": "站点代码",
             "stnm": "站名",
             "tm": "时间",
             "webStlc": "站址",
             "wrz": "警戒水位(米)",
             "zl": "水位(米)",
             "dateTime": "日期"}

# 爬取大江大河实时水情
url = 'http://xxfb.mwr.cn/hydroSearch/greatRiver'
return_data = requests.get(url, verify=False)
js = return_data.json()
river_info = dict(js)["result"]["data"]
river_table = pd.DataFrame(river_info[0], index=[0])
for i in range(1, len(river_info)):
    river_table = pd.concat([river_table, pd.DataFrame(river_info[i], index=[0])])
for str_col_name in ["poiAddv", "poiBsnm", "rvnm", "stnm", "webStlc"]:
    river_table[str_col_name] = river_table[str_col_name].apply(lambda s: s.strip())
river_table.columns = [word_dict.get(i) for i in river_table.columns]
river_table.index = range(len(river_table.index))

"""
功能
保存爬取后得到的数据集river_table为.csv文件
输入
out_path:表格文件的输出路径，默认为桌面
"""
out_path = os.path.join(os.path.expanduser("~"), 'Desktop')  # 输出路径，默认为桌面
date_suffix = river_table["时间"].values[0].split(" ")[0]
out_csv = os.path.join(out_path, "全国大江大河_{0}.csv".format(date_suffix))  # 输出文件名
river_table.to_csv(out_csv, encoding='utf_8_sig')

# 打印待保存的数据
print(river_table)
a = input("press any key to quit")

---

四、运行结果

五、其他

• 配合windows的计划任务功能实现每日自动运行
• 配合smtplib和email库可以实现邮件通知功能，参考代码如下：

import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.application import MIMEApplication

message = MIMEMultipart()

# 输入：发件邮箱
sender = 'xxxxx@126.com'  

# 输入：收件邮箱
receiver = 'xxxxx@163.com' 

# 输入：邮件申请SMTP服务后的密码
password = 'xxxxxxxxxx'  

message['From'] = sender
message['To'] = receiver

content = "今日水情数据:{0}".format(date_suffix)
textApart = MIMEText(content)

# 输入：要添加到邮件中的附件
files = [out_csv] 

for i in range(len(files)):
    attFile = MIMEApplication(open(files[i], 'rb').read())
    attFile.add_header('Content-Disposition', 'attachment', filename=os.path.split(files[i])[1])
    message.attach(attFile)

message.attach(textApart)  # 邮件的文字部分
message['Subject'] = date_suffix  # 邮件的标题

try:
    server = smtplib.SMTP('smtp.126.com')  # 发件邮箱提供的SMTP服务器地址，这里以126邮箱为例
    server.login(sender, password)
    server.sendmail(sender, receiver, message.as_string())
    print('success')
    server.quit()
except smtplib.SMTPException as e:
    print('error:', e)  # 打印错误信息