feign post 传递空值_Power Query中网络抓取GET方法与POST方法的不同之处

之前我写过很多篇的Power Query的网络抓取的教程，如果按照网络数据传递的方式来说，那些文章中的抓取方式都是GET方法的抓取，那么POST与GET方法有什么区别呢？

这是W3C官网上的内容，大家参阅：

GET、POST两种方法都可以用来向服务器发起请求，至于服务器支持哪种方法，我们要通过谷歌浏览器来查看一下：

像这样在浏览器地址中提交查询条件的就是GET方法：

GET方法下面通常是查询的条件字符串Query String Parameters：

这样的URL很标准，没有各种问号等号连字符的，通常就是POST方法：

POST方法下面是表单Form Data：

很多时候网站是同时支持两种查询方法：

上面这个网站就是两种方法都支持的网站。

最后GET、POST两种方法在传递数据时最大的区别就是编码方式不同：

• GET：使用TextEncoding.Ascii编码传递查询条件
• POST：使用BinaryEncoding.Base64编码传递表单内容

我们回到Power Query抓取上来，我之前也是不明白要怎么才能实现POST提交数据抓取，看了几篇文章，基本上都是用一个函数实现GET、POST两种抓取的，唯一的区别在于HEADER这个头文件的书写，以及查询条件的编码方式。

GET方法查询：

let

url="", //网址

headers=[Cookie=""], //头文件

query=[], //Query String Parameters

web=Text.FromBinary(Web.Contents(url,[Headers=headers,Query=query]))

in

web

上面这段代码可以适用在大部分的GET方法的站点，其中：

• url：站点网址，不包括？号后面的部分
• headers：头文件，如果不是登录密码的方式查询，可以省略
• query：Query String Parameters这个上面截图是View Parsed格式码,下面的截图是View Source源码，网络抓取的时候用的是这个源码：

• web：在执行抓取时是使用的参数抓取，注意下面这句中没有做任何的编码，其实就是使用的普通文本发送的查询请求：

Web.Contents(url,[Headers=headers,Query=query])

当然了，我们很多时候，匿名抓取数据时，就不用登录不用cookie,也就不用写头部文件，直接在一长串的url中添加页码等查询条件，就省略掉了Web.Contents函数的第二参数，这就是我为什么说之前的那些一句话查询都是GET查询。

POST查询：

我们主要讲的就是这个POST方法的抓取，与GET方法最大的不同，就是不能省略头文件Headers，因此也就必须使用Web.Contents函数的第二参数，我们就通过一个示例来说明怎么来写代码执行POST请求：

第一步：还是要做网站分析

首先我们确定这个网站是可以用POST方法抓取数据的：

然后要看头文件中的关键字：

其实我没有用用户名密码登录网站，所以这个cookie是可以不用的，但是这个：

Content-Type: application/x-www-form-urlencoded; charset=UTF-8

是POST方法中必须要使用的，划上重点符号。

再然后我们要看表单的内容：

我们需要向服务器提交上面几个查询条件，然后才能返回查询结果，上面的格式是为了方便查看，大家可以理解成是一个记录Record格式的样子，你按下View Source就会显示出源码：

我画线的部分就是“离婚登记数”，正常的URI编码形式好多百分号的汉字。

通过这些分析我们可以开始下一步了。

第二步：试抓

先把代码丢上来，然后再一行一行的来说：

let

url="http://data.cnki.net/KeyIndicator/GetPageData",

headers=[#"Content-Type"="application/x-www-form-urlencoded; charset=UTF-8"],

content=Text.ToBinary("XjCode=xj35&Type=level&FullIndicate=%E7%A6%BB%E5%A9%9A%E7%99%BB%E8%AE%B0%E6%95%B0&FullIndicateCode=YI0116&Time=2016&pagesize=500"),

web=Web.Contents(url,[Headers=headers,Content=content])

in

web

• url：网址，就是网站分析中的第一行那个网址；
• headers：注意内容就是我们之前复制的那段内容，注意书写格式，#号以及引号的位置；
• content：就是Form Data表单内同的源码，要注意的是使用了Text.ToBinary函数转换成了BinaryEncoding.Base64编码；
• web：使用了第二参数，正常的书写就行了

与GET方法相比，主要的区别在于，headers、content的写法，

• GET：header可有可无，POST：必须有headers;
• GET：query无需编码，POST：content必须用Text.ToBinary转编码格式；

我们看查询的结果：

是个二进制文件，我们用JSON格式分析：

这样就证明了我们的POST方法成功了，当然我们肯定不满足，只抓取一年的数据，一个离婚登记数据，接下来就是要定义函数了，其实单个抓取成功，并展开表格到这一步就可以了，不要做过多的整理，避免抓取不同类别数据时出现冲突，导致函数的通用性降低。

第三步：自定义函数

我们需要通过三个参数来实现更多数据抓取：

• y：年，对应content中的time=2016，我们用y代替2016，当然最好是直接用数值2016，那么就要写成Text.From(y)，这样即使是数值也不会出错。
• f：关键字，对应着content中的FullIndicate=%E7%A6%BB%E5%A9%9A%E7%99%BB%E8%AE%B0%E6%95%B0，我们用Uri.BuildQueryString([FullIndicate=f])来生成这样一段内容
• c：代码，对应着content中的FullIndicateCode=YI0116，这里面的YI0116是随着关键字变化的，如果是”结婚登记数“，对应的是FullIndicateCode=YI0114。

我们把三个参数带到自定义函数中：

接下来我们要来做个多年的结婚登记数抓取测试。

第四步：数据抓取

展开表格就可得到2000-2017年的结婚登记数据了。

当然今天这个抓取是一行字符串式的数据传递相对容易一些，有的用记录方式传递，有的用JSON格式，无非就是几种格式之间的转换。只要了解了基本的POST操作的过程，那么用户名密码登录抓取也不是什么难办到的事情了。