C# 从需要登录的网站上抓取数据

背景：昨天一个学金融的同学让我帮她从一个网站上抓取数据，然后导出到excel，粗略看了下有1000+条记录，人工统计的话确实不可能。虽说不会，但作为一个学计算机的，我还是厚着脸皮答应了。 。

刚开始想的是直接发送GET请求，然后再解析返回的html不就可以获取需要的信息吗？的确，如果是不需要登录的网站，这样可行，但对于这个网站就行不通。所以首先我们需要做的就是抓包，即分析用户登录时浏览器向服务器发送的POST请求。许多浏览器都自带抓包工具，但我还是更喜欢[httpwatch]

抓包过程：

1.安装httpwatch

2.用IE浏览器进入网站的登录页面

3.打开httpwatch的Record开始跟踪

4.输入账号密码，确认登录，得到下面的数据：