使用socket发送http请求(GET/POST)

1.socket的原理 在相关文章中已经提及，不再赘述。

2.http头的格式

(1)请求行
请求行由请求方法字段、URL字段和HTTP协议版本字段3个字段组成，它们用空格分隔。例如，GET /index.html HTTP/1.1。
HTTP协议的请求方法有GET、POST、HEAD、PUT、DELETE、OPTIONS、TRACE、CONNECT。这里介绍最常用的GET方法和POST方法。
GET：当客户端要从服务器中读取文档时，使用GET方法。GET方法要求服务器将URL定位的资源放在响应报文的数据部分，回送给客户端。使用GET方法时，请求参数和对应的值附加在URL后面，利用一个问号（“?”）代表URL的结尾与请求参数的开始，传递参数长度受限制。例如，/index.jsp?id=100&op=bind。
POST：当客户端给服务器提供信息较多时可以使用POST方法。POST方法将请求参数封装在HTTP请求数据中，以名称/值的形式出现，可以传输大量数据，可用来传送文件。
(2)请求头部
请求头部由关键字/值对组成，每行一对，关键字和值用英文冒号“:”分隔。请求头部通知服务器有关于客户端请求的信息，典型的请求头有：
User-Agent：产生请求的浏览器类型。
Accept：客户端可识别的内容类型列表。
Host：请求的主机名，允许多个域名同处一个IP地址，即虚拟主机。

(3)空行
最后一个请求头之后是一个空行，发送回车符和换行符，通知服务器以下不再有请求头。
对于一个完整的http请求来说空行是必须的，否则服务器会认为本次请求的数据尚未完全发送到服务器，处于等待状态。
(4)请求数据
请求数据不在GET方法中使用，而是在POST方法中使用。POST方法适用于需要客户填写表单的场合。与请求数据相关的最常使用的请求头是Content-Type和Content-Length。

 

3.示例程序

int main()
{
 int sockfd;
 int len;
 struct sockaddr_in address; 
 struct hostent *server;

 int result;
//club.edu.sina.com.cn/bbs/forum-209-1.html
 string path("/TJUBBS/bbslogin?id=zongyuan&pw=91117891");
 string host("bbs.tju.edu.cn");
 stringstream stream;
 //GET请求方式
 /*
 stream<< "GET " << path << " HTTP/1.0\r\n"
         << "Host: " << host << "\r\n"
         <<"User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3\r\n"
         <<"Connection:close\r\n"
          << "\r\n";
 */
 //POST请求方式
 char *post_content = new char[128];
 memcpy(post_content,"id=*********&pw=*********",128);
 int content_length = strlen(post_content);
 cout<<"content length is "<<content_length<<endl;
 stream<< "POST " << path << " HTTP/1.0\r\n"
            << "Host: " << host << "\r\n"
           <<"User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3\r\n"
           <<"Content-Type:application/x-www-form-urlencoded\r\n"
           <<"Content-Length:"<<content_length<<"\r\n"
           <<"Connection:close\r\n"
           << "\r\n"
           <<post_content;

 delete[] post_content;

 string request = stream.str();

 sockfd = socket(AF_INET,SOCK_STREAM,0);

 address.sin_family = AF_INET;
 server = gethostbyname(host.c_str()); 
 memcpy((char *)&address.sin_addr.s_addr,(char*)server->h_addr, server->h_length);
 address.sin_port = htons(80);
 len = sizeof(address);

 result = connect(sockfd,(struct sockaddr *)&address,len);
 
 if(result==-1){
        cout<<"connection error!"<<endl; 
 }

 write(sockfd,request.c_str(),request.size());

 char buf[1024*1024];
 memset(buf,0,1024*1024);
 int offset = 0;
 int rc;
 while(rc = read(sockfd,buf+offset,1024)){
      offset += rc;
 }
 
 close(sockfd);

 buf[offset] = 0;
// cout<<strlen(buf)<<endl;
 cout<<buf<<endl;

 /*
 int size = offset;
 int outlen = 2*size; //  注意编码转换之后的字符串长度会发生变化，因此此处定义为2倍长度，确保能够容纳转换之后得到的字符串

 char *output = new char[outlen];

 memset(output,0,outlen);

 //进行编码转换，将gbk转换为utf-8
 covert("utf-8","gbk",buf,size,output,outlen);
 output[outlen] = 0;

 cout<<strlen(output)<<endl;
// cout<<output<<endl;
 delete[] output;
 */

 return 0;
}

//使用libiconv库实现的编码转换函数

 int covert(char *desc, char *src, char *input, size_t ilen, char *output, size_t olen)
{
    char **pin = &input;
    char **pout = &output;
    iconv_t cd = iconv_open(desc, src);
    if (cd == (iconv_t)-1)
    {
  iconv_close(cd);
        return -1;
    }
    memset(output, 0, olen);
    if (iconv(cd, pin, &ilen, pout, &olen)){
  cout<<"convert failed!"<<endl;
  iconv_close(cd);
  return -1;
 }
    iconv_close(cd);
    return 0;
}

4.后续

访问url时经常发生页面跳转的情况，如何能够适应跳转，获取想要的页面，需要进一步学习