爬虫学习笔记3——post类请求网站爬取过程

如果request方法中的data参数有值得话，那么该请求就是一个post型的请求，如果没有值得话，那么该请求是get请求
体现在抓包工具上的话（这里我用的是fidder4）就是header的最后面是否有一段由i开头的代码
这张图片 有道翻译翻译时发出的请求的header
在做post类型网页的时候需要注意的是，网页上显示的url是虚假的url，只是一个用户的入口，如果要获取真实的url，一定要通过抓包工具 ，在请求的header中寻找url。
上图的第一行就是有道翻译翻译界面的真实的url。

找到完整的url之后，我们还需要header部分，就是上图的第一行和最后一行中间的部分。
我们可以按照我们的爬取要求，将header部分中需要的选项加入我们构建的header。

最后我们需要将post的内容也添加到我们的请求之中，我们可以按照最后一行的形式加入我们的post请求，当然我们不需要按照上文中的格式，只要包括必要的内容就可以，因为最后我们的post请求是需要做转码的。我们需要修改的是i部分，这一部分包含的是用户输入的所需要翻译的字符串。