7、网络代理服务器的设计与实现

一、设计题目

7、网络代理服务器的设计与实现

二、设计内容

实现一个简易的 proxy 程序。proxy 程序的功能：能够做“二传手”的工作。它自身处在能同时连通外界目标服务器和我的机器的位置上。我的机器把请求发送给它，它接受请求，把请求原封不动的抄下来发送给外界目标服务器；外界目标服务器响应了请求，把回答发送给它，它再接受回答，把回答原封不动的抄下来发送给我的机器。这样，我的机器实际上是把它当作了目标服务器（由于是原封不动的转抄，请求和回答没有被修改）。而它则是外界目标服务器的客户端。

编写简单的 Web Server 有助于了解 Web Server 的工作流程，掌握超文本传送协议( HTTP)基本原理，掌握 Windows 环境中用 socket 实现 C/S 结构程序的编程方法。   

三、设计步骤

3.1原理分析

代理服务器，主要是减轻了与外界交互的链路的传输压力，把很多需求以提供本地服务器的形式加以解决。

3.2编程设计

设计步骤：

      服务器端：

1. 初始化socket并绑定；
2. 接受客户端socket连接；
3. 接收客户端的请求；
4. 返回请求的数据（C/S模式）；

       客户端：

1. 初始化socket并绑定；
2. 填充文件信息
3. 请求与客户端进行socket连接；
4. 发送http请求；
5. 接收响应并保存到文件中；

数据结构

//定义常量

#define HTTP_DEF_PORT        80     //连接的缺省端口

#define HTTP_BUFFER_SIZE      1024     //缓冲区的大小

#define HTTP_FILENAME_LEN   256     //文件名长度

//定义文件类型对应的 Content-Type

struct doc_type

{

    char *suffix; //文件后缀

    char *type;   //Content-Type

};

struct doc_type file_type[] =

{

    {"html","text/html"}, //html文件

    {"gif","image/gif"},  //图片

    {"jpeg","image/jpeg"},//图像

    {NULL,NULL}

};

/http请求

char *http_res_hdr_tmpl =

    "HTTP/1.1 200 OK\r\nServer: YeFanServer <0.1>\r\n"

    "Accept-Ranges: bytes\r\nContent-Length: %d\r\nConnection: close\r\n"

    "Content-Type: %s;charset=UTF-8\r\n";

//根据文件后缀查找对应的 Content-Type.失败返回null

char *http_get_type_by_suffix(const char *suffix)

{

    struct doc_type *type;

    for (type = file_type; type->suffix; type++)

    {

        if (strcmp(type->suffix, suffix) == 0)

            return type->type;

    }

    return NULL;

}

关键代码

1)服务器端向客户端发送HTTP响应

int http_send_response(SOCKET h_socket, char *buf, int buf_len)

{

    int read_len, file_len, hdr_len, send_len;

    char *type;

    char read_buf[HTTP_BUFFER_SIZE];

    char http_header[HTTP_BUFFER_SIZE];

    char file_name[HTTP_FILENAME_LEN] = "test.html", suffix[16] = "html";

    FILE *res_file;

    //得到文件名和后缀

    http_parse_request_cmd(buf, buf_len, file_name, suffix);

    res_file = fopen(file_name, "rb+"); //用读/写方式打开一个二进制文件，只允许读/写数据

    if (res_file == NULL)

    {

        printf("[Web] The file [%s] is not existed\n", file_name);

        return 0;

    }

    fseek(res_file, 0, SEEK_END);

    file_len = ftell(res_file);

    fseek(res_file, 0, SEEK_SET);

    type = http_get_type_by_suffix(suffix); //文件对应的 Content-Type

    if (type == NULL)

    {

        printf("[Web] There is not the related content type\n");

        return 0;

    }

    //构造 HTTP 首部，并发送

    hdr_len = sprintf(http_header, http_res_hdr_tmpl, file_len, type);

    send_len = send(h_socket, http_header, hdr_len, 0);

    //send_len=1;

    if (send_len == SOCKET_ERROR)

    {

        fclose(res_file);

        printf("[Web] Fail to send, error = %d\n", WSAGetLastError());

        return 0;

    }

    //发送文件, HTTP 的消息体

    do

    {

        read_len = fread(read_buf, sizeof(char), HTTP_BUFFER_SIZE, res_file);

        if (read_len > 0)

        {

            send_len = send(h_socket, read_buf, read_len, 0);

            file_len -= read_len;

        }

    } while ((read_len > 0) && (file_len > 0));

    fclose(res_file);

    return 1;

}

2)客户端发送 HTTP 请求

    send_len = sprintf(data_buf, http_req_hdr_tmpl, argv[1], host, port);

    result = send(http_sock, data_buf, send_len, 0);

    if (result == SOCKET_ERROR) //发送失败

    {

        printf("[Web] fail to send, error = %d\n", WSAGetLastError());

        return -1;

    }

    file_web = fopen(file_nameforsave, "a+");//以附加的方式打开可读写的文件。若文件不存在，则会建立该文件，如果文件存在，写入的数据被加到文件尾。

    do //接收响应并保存到文件中

    {

        result = recv(http_sock, data_buf, HTTP_BUFFER_SIZE, 0);

        if (result > 0)

        {

            fwrite(data_buf, 1, result, file_web);

            //在屏幕上输出

            data_buf[result] = 0;

            printf("%s", data_buf);

        }

    } while(result > 0);

程序流程图

7，ProxyServer main                

 7，ProxyClient main

   

 7，ProxyServer send content

四、调试过程

   数据访问上，test.html放置位置，一开始没有弄明白。多试几次弄明白了。

五、结果及分析、

客户端向服务器端请求test.html

7，ProxyServer

六、心得体会、

     不是只有访问公网一种形式，还有许多的内网访问形式，之前倒是没有很明白其中的原理与区别，如今倒算是明白了。

服务器端：

#include <stdio.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")  //WinSock使用的库函数

//定义常量
#define HTTP_DEF_PORT        80     //连接的缺省端口
#define HTTP_BUFFER_SIZE      1024     //缓冲区的大小
#define HTTP_FILENAME_LEN   256     //文件名长度

//定义文件类型对应的 Content-Type
struct doc_type
{
    char *suffix; //文件后缀
    char *type;   //Content-Type
};

struct doc_type file_type[] =
{
    {"html","text/html"}, //html文件
    {"gif","image/gif"},  //图片
    {"jpeg","image/jpeg"},//图像
    {NULL,NULL}
};

//http请求
char *http_res_hdr_tmpl =
    "HTTP/1.1 200 OK\r\nServer: YeFanServer <0.1>\r\n"
    "Accept-Ranges: bytes\r\nContent-Length: %d\r\nConnection: close\r\n"
    "Content-Type: %s;charset=UTF-8\r\n";

//根据文件后缀查找对应的 Content-Type.失败返回null
char *http_get_type_by_suffix(const char *suffix)
{
    struct doc_type *type;
    for (type = file_type; type->suffix; type++)
    {
        if (strcmp(type->suffix, suffix) == 0)
            return type->type;
    }
    return NULL;
}

//解析请求行，得到文件名及其后缀，请求行格式【get http://localhost:3000/index.html HTTP/1.1】
//buf代表字符串指针长度、buflen代表buf的长度、file_name文件名、suffix文件名后缀，由上面的函数判断
void http_parse_request_cmd(char *buf, int buflen, char *file_name, char *suffix)
{
    int length = 0;
    char *begin, *end, *bias;
    //查找URL的开始位置
    begin = strchr(buf, ' '); //在字符串buf中搜索第一次出现’空格‘的位置
    begin+= 1;
    //查找URL的结束位置
    end = strchr(begin, ' ');
    *end = 0;

    bias = strrchr(begin, '/'); //找到一个字符'/'在另一个字符串begin中末次出现的位置
    length = end - bias;

    //找到文件名的开始位置
    if ((*bias == '/') || (*bias == '\\'))
    {
        bias++;
        length--;
    }

    //得到文件名
    if (length > 0)
    {
        memcpy(file_name, bias, length);
        file_name[length] = 0;
        begin = strchr(file_name, '.');
        if (begin)
            strcpy(suffix, begin + 1);
    }
}

//向客户端发送HTTP响应
int http_send_response(SOCKET h_socket, char *buf, int buf_len)
{
    int read_len, file_len, hdr_len, send_len;
    char *type;
    char read_buf[HTTP_BUFFER_SIZE];
    char http_header[HTTP_BUFFER_SIZE];
    char file_name[HTTP_FILENAME_LEN] = "test.html", suffix[16] = "html";
    FILE *res_file;

    //得到文件名和后缀
    http_parse_request_cmd(buf, buf_len, file_name, suffix);

    res_file = fopen(file_name, "rb+"); //用读/写方式打开一个二进制文件，只允许读/写数据
    if (res_file == NULL)
    {
        printf("[Web] The file [%s] is not existed\n", file_name);
        return 0;
    }

    fseek(res_file, 0, SEEK_END);
    file_len = ftell(res_file);
    fseek(res_file, 0, SEEK_SET);

    type = http_get_type_by_suffix(suffix); //文件对应的 Content-Type
    if (type == NULL)
    {
        printf("[Web] There is not the related content type\n");
        return 0;
    }

    //构造 HTTP 首部，并发送
    hdr_len = sprintf(http_header, http_res_hdr_tmpl, file_len, type);
    send_len = send(h_socket, http_header, hdr_len, 0);
    //send_len=1;
    if (send_len == SOCKET_ERROR)
    {
        fclose(res_file);
        printf("[Web] Fail to send, error = %d\n", WSAGetLastError());
        return 0;
    }
    //发送文件, HTTP 的消息体
    do
    {
        read_len = fread(read_buf, sizeof(char), HTTP_BUFFER_SIZE, res_file);
        if (read_len > 0)
        {
            send_len = send(h_socket, read_buf, read_len, 0);
            file_len -= read_len;
        }
    } while ((read_len > 0) && (file_len > 0));
    fclose(res_file);
    return 1;
}


int main(int argc, char **argv)
{
    WSADATA wsa_data;
    SOCKET  srv_socket = 0, acpt_soc;  //socket 句柄
    struct sockaddr_in serv_addr;   // 服务器地址
    struct sockaddr_in client_addr;   // 客户端地址
    char recv_buf[HTTP_BUFFER_SIZE];
    unsigned short port = HTTP_DEF_PORT;
    int from_len = sizeof(client_addr);
    int result = 0, recv_len;
    if (argc == 2) // 端口号
        port = atoi(argv[1]);
    WSAStartup(MAKEWORD(2,0), &wsa_data); //初始化 WinSock 资源
    srv_socket = socket(AF_INET, SOCK_STREAM, 0); //创建 socket
    if (srv_socket == INVALID_SOCKET)
    {
        printf("[Web] socket() Fails, error = %d\n", WSAGetLastError());
        return -1;
    }

    //服务器地址
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(port);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    result = bind(srv_socket, (struct sockaddr *) &serv_addr, sizeof(serv_addr));
    if (result == SOCKET_ERROR) //绑定失败
    {
        closesocket(srv_socket);
        printf("[Web] Fail to bind, error = %d\n", WSAGetLastError());
        return -1;
    }

    result = listen(srv_socket, 5);
    printf("[Web] The server is running ... ...\n");

    while (1)
    {
        acpt_soc = accept(srv_socket, (struct sockaddr *) &client_addr, &from_len);
        if (acpt_soc == INVALID_SOCKET) // 接受失败
        {
            printf("[Web] Fail to accept, error = %d\n", WSAGetLastError());
            break;
        }

        printf("[Web] Accepted address:[%s], port:[%d]\n",inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port));

        recv_len = recv(acpt_soc, recv_buf, HTTP_BUFFER_SIZE, 0);
        if (recv_len == SOCKET_ERROR) // 接收失败
        {
            closesocket(acpt_soc);
            printf("[Web] Fail to recv, error = %d\n", WSAGetLastError());
            break;
        }

        recv_buf[recv_len] = 0;

        //向客户端发送响应数据
        result = http_send_response(acpt_soc, recv_buf, recv_len);
        closesocket(acpt_soc);
    }

    closesocket(srv_socket);
    WSACleanup();
    printf("[Web] The server is stopped.\n");

    return 0;
}

客户端：

#include <stdio.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")  /* WinSock使用的库函数 */

/* 定义常量 */
#define HTTP_DEF_PORT     80  // 连接的缺省端口
#define HTTP_BUFFER_SIZE   1024  // 缓冲区的大小
#define HTTP_HOST_LEN    256  // 主机名长度

char *http_req_hdr_tmpl = "GET %s HTTP/1.1\r\n"
    "Accept: image/gif, image/jpeg, */*\r\nAccept-Language: zh-cn\r\n"
    "Accept-Encoding: charset=UTF-8, deflate\r\nHost: %s:%d\r\n"
    "User-Agent: Huiyong's Browser <0.1>\r\nConnection: Keep-Alive\r\n\r\n";

//解析命令行参数，分别得到主机名，端口号和文件名，命令行格式【http://localhost:3000/index.html】
void http_parse_request_url(const char *buf, char *host,unsigned short *port, char *file_name)
{
    int length = 0;
    char port_buf[8];
    char *buf_end = (char *)(buf + strlen(buf));
    char *begin, *host_end, *colon, *file;

    // 查找主机的开始位置
    begin = const_cast<char*>(strstr(buf, "//"));
    begin = (begin ? begin + 2 : const_cast<char*>(buf));

    colon = strchr(begin, ':');
    host_end = strchr(begin, '/');

    if (host_end == NULL)
    {
        host_end = buf_end;
    }
    else
    {
        //得到文件名
        file = strrchr(host_end, '/');
        if (file && (file + 1) != buf_end)
            strcpy(file_name, file + 1);
    }
    if (colon) // 得到端口号
    {
        colon++;
        length = host_end - colon;
        memcpy(port_buf, colon, length);
        port_buf[length] = 0;
        *port = atoi(port_buf);
        host_end = colon - 1;
    }

    // 得到主机信息
    length = host_end - begin;
    memcpy(host, begin, length);
    host[length] = 0;
}


int main(int argc, char **argv)
{
    WSADATA wsa_data;
    SOCKET  http_sock = 0;         //socket 句柄
    struct sockaddr_in serv_addr;  //服务器地址
    struct hostent *host_ent;

    int result = 0, send_len;
    char data_buf[HTTP_BUFFER_SIZE];
    char host[HTTP_HOST_LEN] = "127.0.0.1";
    unsigned short port = HTTP_DEF_PORT;
    unsigned long addr;
    char file_name[HTTP_HOST_LEN] = "test.html";
    char file_nameforsave[HTTP_HOST_LEN] = "test.html";
    FILE *file_web;

    if (argc != 2)
    {
        printf("[Web] input : %s http://localhost:3000/test.html", argv[0]);
        return -1;
    }

    http_parse_request_url(argv[1], host, &port, file_name);
    WSAStartup(MAKEWORD(2,0), &wsa_data); //初始化 WinSock 资源

    addr = inet_addr(host);
    if (addr == INADDR_NONE)
    {
        host_ent = gethostbyname(host);
        if (!host_ent)
        {
            printf("[Web] invalid host\n");
            return -1;
        }

        memcpy(&addr, host_ent->h_addr_list[0], host_ent->h_length);
    }

    //服务器地址
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(port);
    serv_addr.sin_addr.s_addr = addr;

    http_sock = socket(AF_INET, SOCK_STREAM, 0); //创建 socket
    result = connect(http_sock, (struct sockaddr *) &serv_addr, sizeof(serv_addr));
    if (result == SOCKET_ERROR) //连接失败
    {
        closesocket(http_sock);
        printf("[Web] fail to connect, error = %d\n", WSAGetLastError());
        return -1;
    }

    //发送 HTTP 请求
    send_len = sprintf(data_buf, http_req_hdr_tmpl, argv[1], host, port);
    result = send(http_sock, data_buf, send_len, 0);
    if (result == SOCKET_ERROR) //发送失败
    {
        printf("[Web] fail to send, error = %d\n", WSAGetLastError());
        return -1;
    }

    file_web = fopen(file_nameforsave, "a+");//以附加的方式打开可读写的文件。若文件不存在，则会建立该文件，如果文件存在，写入的数据被加到文件尾。

    do //接收响应并保存到文件中
    {
        result = recv(http_sock, data_buf, HTTP_BUFFER_SIZE, 0);
        if (result > 0)
        {
            fwrite(data_buf, 1, result, file_web);
            //在屏幕上输出
            data_buf[result] = 0;
            printf("%s", data_buf);
        }
    } while(result > 0);

    fclose(file_web);
    closesocket(http_sock);
    WSACleanup();

    return 0;
}