模拟HTTP请求实现网页自动操作及数据采集

前言

网页可分为信息提供和业务操作类，信息提供如新闻、股票行情之类的网站。业务操作如网上营业厅、OA之类的。当然，也有很多网站同时具有这两种性质，像微博、豆瓣、淘宝这类网站，既提供信息，也实现某些业务。

普通上网方式一般都是手动操作（这个不需要解释：D）。但有时候人工手动操作的方式可能就无法胜任了，如爬取网络上大量数据，实时监测某个页面的变化，批量操作业务（如批量发微博，批量淘宝购物）、刷单等。由于操作量大，而且都是重复的操作，人工操作效率低下，且易出错。这时候就可以使用软件来自动操作了。

本人开发过多个这类软件，有网络爬虫、自动批量操作业务这类的。其中使用到的一个核心功能就是模拟HTTP请求。当然，有时会使用HTTPS协议，而且网站一般需要登陆后才能进一步操作，还有最重要的一点就是弄清楚网站的业务流程，即知道为了实现某个操作该在什么时候向哪个页面以什么方式提交什么数据，最后，要提取数据或知道操作结果，就还需要解析HTML。本文将一一阐述。

本文使用C#语言来展示代码，当然也可以用其它语言实现，原理是一样的。以登陆京东为实例。

模拟HTTP请求

C#模拟HTTP请求需要使用到如下类：

• WebRequest
• HttpWebRequest
• HttpWebResponse
• Stream

先创建一个请求对象（HttpWebRequest），设置相关的Headers信息后发送请求（如果是POST，还要把表单数据写入网络流），如果目标地址可访问，会得到一个响应对象（HttpWebResponse），从相应对象的网络流中就可读出返回结果。示例代码如下：

String contentType = "application/x-www-form-urlencoded";
String accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/x-silverlight, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-ms-application, application/x-ms-xbap, application/vnd.ms-xpsdocument, application/xaml+xml, application/x-silverlight-2-b1, */*";
String userAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36";

public String Get(String url,