C/C++使用POST方式进行抓取

C/C++使用POST方式进行抓取

用GET方式抓取网页比较常见，当遇到POST方式的页面如何处理？跟GET方式是否相同呢？

最近需要爬虫(spider)下载post方式的网页，运行环境：Linux C/C++
在网上找了个源代码测试了一下，有几个错误，修改后可以运行了，可惜结果不对，抓下来的内容有丢失，只有表单等框架性的东西，缺少实质的内容。仔细分析了一下HTTP请求头，问题解决，哈哈！看来GET方式下对HTTP头的要求与POST方式还是有区别的。

------------------------------------------------------------
一个HTTP请求报文由请求行（request line）、请求头部（header）、空行和请求数据4个部分组成。
（1）请求行
请求行由请求方法字段、URL字段和HTTP协议版本字段3个字段组成，它们用空格分隔。例如，GET /index.html HTTP/1.1。
HTTP协议的请求方法有GET、POST、HEAD、PUT、DELETE、OPTIONS、TRACE、CONNECT。这里介绍最常用的GET方法和POST方法。
GET：当客户端要从服务器中读取文档时，使用GET方法。GET方法要求服务器将URL定位的资源放在响应报文的数据部分，回送给客户端。使用GET方法时，请求参数和对应的值附加在URL后面，利用一个问号（“?”）代表URL的结尾与请求参数的开始，传递参数长度受限制。例如，/index.jsp?id=100&op=bind。
POST：当客户端给服务器提供信息较多时可以使用POST方法。POST方法将请求参数封装在HTTP请求数据中，以名称/值的形式出现，可以传输大量数据，可用来传送文件。
（2）请求头部
请求头部由关键字/值对组成，每行一对，关键字和值用英文冒号“:”分隔。请求头部通知服务器有关于客户端请求的信息，典型的请求头有：
User-Agent：产生请求的浏览器类型。
Accept：客户端可识别的内容类型列表。
Host：请求的主机名，允许多个域名同处一个IP地址，即虚拟主机。
（3）空行
最后一个请求头之后是一个空行，发送回车符和换行符，通知服务器以下不再有请求头。
对于一个完整的http请求来说空行是必须的，否则