python爬取flash页面的返回数据（flex技术、amf格式、charles抓包）

flash页面的返回数据，无法从网页源代码中查看到数据，这种页面的爬取需要借助一个工具——charles，通过它来查看amf。
这里用到一个第三方库pyamf，安装方式：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple py3amf

本文以浙江省地表水水质自动监测数据为例，爬取浙江省所有监测点的五项水质实时信息，讲述这种传统flash页面数据的爬取过程和注意事项。

一、分析网页

浏览器查看

下面是这个网站的页面和源代码（注意圈出来的部分）：

浏览器无法查看到我们需要的数据，接下来我们需要借助charles。

charles查看

打开charles（具体使用方法请自行百度），找到amf（注意第三个）：

查看amfWms（GISCommonDataUtilForWms.getAllValleyVo,GISCommonDataUtilForWms.getAllShowHourData,GISCommonDataUtilForWms.getAllSiteHistoryVo）:

request(有3个，数据在body[1]，仔细查看，我们需要模拟请求):

response（仔细查看，可以把这里看作我们定制返回参数的模板，返回哪个参数就复制其‘键名‘）：

二、代码

# coding: utf-8
# http://wms.zjemc.org.cn/wms/wmsflex/index.html
import datetime
import pandas as pd
import urllib
import urllib.request as urllib2
from urllib.request import Request
import requests
import uuid
import pyamf
import json,datetime
from pyamf import remoting
from pyamf.flex import messaging
import re
import time
import csv

# 构造请求数据
def getRequestData():
    msg.body = []
    msg.headers['DSEndpoint'] = None
    msg