CSAPP proxy lab

最新推荐文章于 2023-09-26 14:24:12 发布
最新推荐文章于 2023-09-26 14:24:12 发布
阅读量448 收藏 2
点赞数
分类专栏： 学习 文章标签： c语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46091531/article/details/126575287
版权

CSAPP的proxy lab是和shelllab比较类似的情况，有大量的书中实例代码作为参考，所以整体撰写难度不高，照猫画虎即可。part1对应着第十一章网络部分，part2对应着12章并发部分，part3对应着之前的cache章。

part1 单线程代理

第一部分为单线程代理，只需要照着书本上的tiny服务器的代码稍微修改一下即可。
首先分析一下需求，整体需求可分为三部分：

  1. 接受客户的连接请求，接受客户的GET信息并储存。
  2. 分析客户的GET信息，获得客户需要连接的目标地址和目标文件，然后将自身作为客户去连接目标地址并获取目标文件。
  3. 将获得的目标地址回传给客户。
    整体可按上述步骤编写代码如下：
// #include <stdio.h>
#include "csapp.h"

/* Recommended max cache and object sizes */
#define MAX_CACHE_SIZE 1049000
#define MAX_OBJECT_SIZE 102400

/* You won't lose style points for including this long line in your code */
static const char *user_agent_hdr = "User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:10.0.3) Gecko/20120305 Firefox/10.0.3";
static const char *connection_hdr = "Connection: close";
static const char *proxy_connection_hdr = "Proxy-Connection: close";


void handleClient(int connectFd);
void readHeaders(rio_t *rp);
void clienterror(int fd, char *cause, char *errnum, char *shortmsg, char *longmsg);

int main(int argc, char **argv)
{
    int listenFd, connectFd;
    char clientHostName[MAXLINE], clientPort[MAXLINE]; 
    // check form
    if (argc != 2)
    {
        fprintf(stderr, "usage: %s <port>\n", argv[0]);
        exit(1);
    }
    
    listenFd = Open_listenfd(argv[1]);
    socklen_t clientLen;
    struct sockaddr_storage clientAddr;
    while (1)
    {
        clientLen = sizeof(clientAddr);
        connectFd = Accept(listenFd, (SA *)& clientAddr, &clientLen);
        Getnameinfo((SA *)&clientAddr, clientLen, clientHostName, MAXLINE, clientPort, MAXLINE, 0);
        // printf("\n########### new proxy#########################\n");
        // printf("Accept connection from (%s,%s), content is :\n", clientHostName, clientPort);
        handleClient(connectFd);
        Close(connectFd);
    }
    
    // printf("%s", user_agent_hdr);
    return 0;
}

void handleClient(int connectFd){
    int i, n;
    char buf[MAXLINE], contentProxyToServer[MAXLINE], request[MAXLINE], contentBackToClinet[MAXLINE];
    char method[32], uri[1024], httpVersion[64], targetHostNameAndPort[128], fileName[128];
    strcpy(fileName, "");

    rio_t clientRio, targetRio;
    Rio_readinitb(&clientRio, connectFd);
    if (!Rio_readlineb(&clientRio, request, MAXLINE))  // GET requests
        return; // empty requests
    // printf("%s", request);
    // readHeaders(&clientRio);

    sscanf(request, "%s %s %s", method, uri, httpVersion);
    if (strcasecmp(method, "GET")) // check if is GET method
    {
        printf("Proxy does not implement the method");
        return;
    }
    strcpy(httpVersion, "HTTP/1.0");
    char *p = strstr(uri, "http://");
    if (!p) {                     // if "http://" not in uri
        p = uri;
    } else{
        p += 7;         // p skip "http://" to host name
    }
    i = 0;
    while (*p != '/')
    {
        targetHostNameAndPort[i++] = *p;
        p += 1;
    }
    targetHostNameAndPort[i] = '\0';
    // finish the content from proxy to target server
    strcpy(fileName, p);
    sprintf(contentProxyToServer, "%s %s %s\r\n", method, fileName, httpVersion);
    sprintf(contentProxyToServer, "%sHost: %s\r\n", contentProxyToServer,targetHostNameAndPort);
    sprintf(contentProxyToServer, "%s%s\r\n", contentProxyToServer, user_agent_hdr);
    sprintf(contentProxyToServer, "%s%s\r\n", contentProxyToServer, connection_hdr);
    sprintf(contentProxyToServer, "%s%s\r\n\r\n", contentProxyToServer, proxy_connection_hdr);
    char targetServerName[64], targetPort[16];
    p = strstr(targetHostNameAndPort, ":");
    if(!p){
        // no port specifiction, then choose http port 80
        strcpy(targetServerName, targetHostNameAndPort);
        strcpy(targetPort, "80");
    }
    else{
        strcpy(targetPort, p+1);
        for ( i = 0; targetHostNameAndPort[i] != ':'; i++)
        {
            targetServerName[i] = targetHostNameAndPort[i];
        }
        targetServerName[i] = '\0';
    }

    // printf("open a connection to target\ncontent is\n%s", contentProxyToServer);
    // open a connect from proxy to target
    int connectToTargetFd = Open_clientfd(targetServerName, targetPort);
    if (connectToTargetFd < 0){  // connect to server 
        clienterror(connectFd, method, "404", "connect failure", 
        "the proxy server connect to target server failure");
        return;
    }
    
    Rio_writen(connectToTargetFd, contentProxyToServer, strlen(contentProxyToServer));
    Rio_readinitb(&targetRio, connectToTargetFd);

    while( (n = Rio_readlineb(&targetRio, buf, MAXLINE)) > 0 ){
        Rio_writen(connectFd, buf, n);
    }
    // printf("\ncontent back to client is: \n%s", contentBackToClinet);
    Close(connectToTargetFd);
}

void readHeaders(rio_t *rp){
    // char buf[MAXLINE];
    // Rio_readlineb(rp, buf, MAXLINE);
    // printf("%s", buf);
    // while (strcmp(buf, "\r\n"))
    // {
    //     Rio_readlineb(rp, buf, MAXLINE);
    //     printf("%s", buf);
    // }
    return ;   
}


void clienterror(int fd, char *cause, char *errnum, 
		 char *shortmsg, char *longmsg) 
{
    char buf[MAXLINE], body[MAXBUF];

    /* Build the HTTP response body */
    sprintf(body, "<html><title>Tiny Error</title>");
    sprintf(body, "%s<body bgcolor=""ffffff"">\r\n", body);
    sprintf(body, "%s%s: %s\r\n", body, errnum, shortmsg);
    sprintf(body, "%s<p>%s: %s\r\n", body, longmsg, cause);
    sprintf(body, "%s<hr><em>The Tiny Web server</em>\r\n", body);

    /* Print the HTTP response */
    sprintf(buf, "HTTP/1.0 %s %s\r\n", errnum, shortmsg);
    Rio_writen(fd, buf, strlen(buf));
    sprintf(buf, "Content-type: text/html\r\n");
    Rio_writen(fd, buf, strlen(buf));
    sprintf(buf, "Content-length: %d\r\n\r\n", (int)strlen(body));
    Rio_writen(fd, buf, strlen(buf));
    Rio_writen(fd, body, strlen(body));
}

整体按照tiny服务器器代码改写，最大的区别是tiny服务器只写了Server端的代码，在代理程序代码中还有作为客户端去连接原先客户要连接的目标服务器的代码。
在这里有一个小坑，我之前是这么写的回写到客户fd的代码：

char contentToClient[1024];
strcpy(contentToClient, "");
while( (n = Rio_readlineb(&targetRio, buf, MAXLINE)) > 0 ){
	strcat(contentToClient, buf);
}
Rio_writen(connectFd, contentToClient, n);

乍看没啥问题，但其实只对传输文本文件（如.html .txt）是正确的，对于.jpeg格式和.gif格式的图片等会出现问题。原因是图片类的二进制表示和ascii没啥关系，导致strcat出现错乱。

part2 并发代理

根据12章的内容，我们选择多线程并发，因为代码书写较为简洁、改造方便。
代码如下，只需要稍加改造，将线程的行为函数改写成线性时候的handleClient即可：

// #include <stdio.h>
#include "csapp.h"

/* Recommended max cache and object sizes */
#define MAX_CACHE_SIZE 1049000
#define MAX_OBJECT_SIZE 102400

/* You won't lose style points for including this long line in your code */
static const char *user_agent_hdr = "User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:10.0.3) Gecko/20120305 Firefox/10.0.3";
static const char *connection_hdr = "Connection: close";
static const char *proxy_connection_hdr = "Proxy-Connection: close";


void handleClient(int connectFd);
void readHeaders(rio_t *rp);
void clienterror(int fd, char *cause, char *errnum, char *shortmsg, char *longmsg);
void *threadHandle(void *vargp);


int main(int argc, char **argv)
{
    int listenFd, *connectFdp;
    char clientHostName[512], clientPort[8]; 
    pthread_t pid;
    // check form
    if (argc != 2)
    {
        fprintf(stderr, "usage: %s <port>\n", argv[0]);
        exit(1);
    }
    

    listenFd = Open_listenfd(argv[1]);
    
    socklen_t clientLen;
    struct sockaddr_storage clientAddr;
    while (1)
    {
        clientLen = sizeof(clientAddr);
        connectFdp = malloc(sizeof(int));
        *connectFdp = Accept(listenFd, (SA *)& clientAddr, &clientLen);
        Getnameinfo((SA *)&clientAddr, clientLen, clientHostName, 512, clientPort, 8, 0);
        // printf("Accept connection from (%s,%s)\n", clientHostName, clientPort);
        // handleClient(connectFd);
        Pthread_create(&pid, NULL, threadHandle, connectFdp);
    }
    
    // printf("%s", user_agent_hdr);
    return 0;
}

void *threadHandle(void *vargp){
    
    Pthread_detach(pthread_self());
    // printf("\n########### new proxy########################\n\n");
    // printf("thread id %lu is handling the request\n", pthread_self());

    int connectFd = *(int *)vargp;
    int i, n;
    char buf[MAXLINE], contentProxyToServer[MAXLINE], request[MAXLINE], contentBackToClinet[MAXLINE];
    char method[32], uri[1024], httpVersion[64], targetHostNameAndPort[128], fileName[128];
    strcpy(fileName, "");


    rio_t clientRio, targetRio;
    Rio_readinitb(&clientRio, connectFd);
    if (!Rio_readlineb(&clientRio, request, MAXLINE))  // GET requests
        return; // empty requests
    // printf("%s", request);
    readHeaders(&clientRio);

    sscanf(request, "%s %s %s", method, uri, httpVersion);
    if (strcasecmp(method, "GET"))
    {
        printf("Proxy does not implement the method");
        return;
    }

    strcpy(httpVersion, "HTTP/1.0");
    char *p = strstr(uri, "http://");
    if (!p) {                     // if "http://" not in uri
        p = uri;
    } else{
        p += 7;         // p skip "http://" to host name
    }
    i = 0;
    while (*p != '/')
    {
        targetHostNameAndPort[i++] = *p;
        p += 1;
    }
    targetHostNameAndPort[i] = '\0';
    // finish the content from proxy to target server
    strcpy(fileName, p);
    sprintf(contentProxyToServer, "%s %s %s\r\n", method, fileName, httpVersion);
    sprintf(contentProxyToServer, "%sHost: %s\r\n", contentProxyToServer,targetHostNameAndPort);
    sprintf(contentProxyToServer, "%s%s\r\n", contentProxyToServer, user_agent_hdr);
    sprintf(contentProxyToServer, "%s%s\r\n", contentProxyToServer, connection_hdr);
    sprintf(contentProxyToServer, "%s%s\r\n\r\n", contentProxyToServer, proxy_connection_hdr);
    char targetServerName[64], targetPort[16];
    p = strstr(targetHostNameAndPort, ":");
    if(!p){
        // no port specifiction, then choose http port 80
        strcpy(targetServerName, targetHostNameAndPort);
        strcpy(targetPort, "80");
    }
    else{
        strcpy(targetPort, p+1);
        for ( i = 0; targetHostNameAndPort[i] != ':'; i++)
        {
            targetServerName[i] = targetHostNameAndPort[i];
        }
        targetServerName[i] = '\0';
    }

    // printf("open a connection to target\ncontent is\n%s", contentProxyToServer);
    // open a connect from proxy to target
    int connectToTargetFd = Open_clientfd(targetServerName, targetPort);
    if (connectToTargetFd < 0){  // connect to server 
        clienterror(connectFd, method, "404", "connect failure", 
        "the proxy server connect to target server failure");
        return;
    }
    
    Rio_writen(connectToTargetFd, contentProxyToServer, strlen(contentProxyToServer));
    Rio_readinitb(&targetRio, connectToTargetFd);

    strcpy(contentBackToClinet, ""); // 先将其设置为空，避免出现之前的缓存没有分配的情况
    while( (n = Rio_readlineb(&targetRio, buf, MAXLINE)) != 0 ){
        // strcat(contentBackToClinet, buf);
        Rio_writen(connectFd, buf, n);

    }
    // printf("\ncontent back to client is: \n%s", contentBackToClinet);
    Close(connectToTargetFd);
    Close(connectFd);
    Free(vargp);
    return NULL;
    
}

void readHeaders(rio_t *rp){
    // char buf[MAXLINE];
    // Rio_readlineb(rp, buf, MAXLINE);
    // printf("%s", buf);
    // while (strcmp(buf, "\r\n"))
    // {
    //     Rio_readlineb(rp, buf, MAXLINE);
    //     printf("%s", buf);
    // }
    return ;   
}


void clienterror(int fd, char *cause, char *errnum, 
		 char *shortmsg, char *longmsg) 
{
    char buf[MAXLINE], body[MAXBUF];

    /* Build the HTTP response body */
    sprintf(body, "<html><title>Tiny Error</title>");
    sprintf(body, "%s<body bgcolor=""ffffff"">\r\n", body);
    sprintf(body, "%s%s: %s\r\n", body, errnum, shortmsg);
    sprintf(body, "%s<p>%s: %s\r\n", body, longmsg, cause);
    sprintf(body, "%s<hr><em>The Tiny Web server</em>\r\n", body);

    /* Print the HTTP response */
    sprintf(buf, "HTTP/1.0 %s %s\r\n", errnum, shortmsg);
    Rio_writen(fd, buf, strlen(buf));
    sprintf(buf, "Content-type: text/html\r\n");
    Rio_writen(fd, buf, strlen(buf));
    sprintf(buf, "Content-length: %d\r\n\r\n", (int)strlen(body));
    Rio_writen(fd, buf, strlen(buf));
    Rio_writen(fd, body, strlen(body));
}

需要注意的是，对每个新的连接请求都要malloc出来一个fd的位置，然后将该fd的指针传给线程函数作为参数，在线程函数中注意将线程detach。然后在最后结束时free掉为储存该客户fd malloc的位置。然后在线程中关闭对客户和目标的fd。

part3 加入缓存的并发代理

待我做完cache lab再来填坑～

cs真入门小白
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解计算机系统(CSAPP)：Proxy Lab
chen_yd_的博客
01-29 4499
在Proxy Lab中，我们会自己实现一个代理服务器。这涉及到网络（教材第十一章）、并发（教材第十二章）的相当多概念。建议大家在阅读Lab指导的时候，反复回顾教材上的相关内容。 proxy究竟是个啥？ proxy是指代理服务器。在各种浏览器设置选项中，都可以看到代理服务器这一项。简单来说，代理在客户端和服务器之间起到桥梁的作用。一方面，代理服务器接收客户端的请求，并转发给真正的服务器；另一方面，代理服务器从真正的服务器接收响应，并转发回客户端。 在handout中，我们可以看到一个tiny文件夹。这是书上1
ProxyLab实验-计算机系统基础-gddrxy
03-30
1） Web代理是一种在Web浏览器和终端服务器之间充当中介角色的程序。在Web代理的帮助下，浏览器不是直接联系终端服务器以获取网页，而是浏览器会首先联系代理，代理会向终端服务器转发请求，当终端服务器响应代理时，代理会将响应发送到浏览器。 2） 代理有多种用途，有时可以在防火墙中使用代理，使得防火墙只能通过代理联系防火墙以外的服务器。代理还可以使客户端匿名，通过剥离请求的所有标识信息，代理可以使浏览器对Web服务器匿名。代理甚至可以通过将来自服务器的对象存储到本地来实现缓存，后续的请求可以直接从缓存中获取Web对象而不需要再次与远程服务器通信。 3） 3.1第一部分：实现顺序的Web代理程序 4） 第一步是实现一个处理HTTP/1.0 GET请求的简单顺序代理程序，其它的请求类型（如POST等）不作要求。在代理程序启动时，程序将在命令行参数指定的端口上侦听连接请求。一旦建立了连接，您的代理程序应该读取整个HTTP请求并对请求进行解析。它需要判断客户端是否发送了有效的HTTP请求。如果HTTP请求有效，则建立自己到相应Web服务器的连接，然后向服务器请求客户端所指定的对象。最后代理程序读
《深入理解计算机系统》实验八Proxy Lab
达的程序员日记
02-08 4444
《深入理解计算机系统》实验八Proxy Lab
CSAPP的Lab学习——ProxyLab
最新发布
qq_43264167的博客
09-26 710
一个本硕双非的小菜鸡，备战24年秋招。刚刚看完CSAPP，真是一本神书啊！遂尝试将它的Lab实现，并记录期间心酸历程。
代理服务器实验记录
weixin_44296539的博客
06-04 267
个人学习记录用，
proxylab:系统编程实验室作业 #5
05-30
代理实验室 系统编程实验室作业 #5 该目录包含 Echo Proxy Lab 所需的文件。 proxy.c、csapp.h、csapp.c 这些是启动文件。 csapp.c 和 csapp.h 在您的教科书中有所描述。 您可以对这些文件进行任何您喜欢的更改。 您可以创建和提交您喜欢的任何其他文件。 echo.h、echo.c、echoserver.c、echoclient.c 全新实验室的回显客户端和服务器文件。 自述文件 这个文件 生成文件 这是构建代理程序的makefile。 键入“ make”以构建您的解决方案，或键入“ make clean”，然后键入“ make”以进行全新构建。 键入“make submit”以创建您将提交的 tarfile。
csapp proxylab
01-14
这是csapp最后一个lab, proxylab。填补了代码实现了一个网络代理，总的来说不是很难，希望对大家有帮助
csapp proxy lab 满分原创（北大&cmu;） 仅供参考，请勿抄袭
12-27
可以拿到满分的网络代理，采用读者优先的方式避免竞争，避免了pipe broken造成的服务器中断。
完整版csapp proxy lab 满分原创（北大&cmu;）
12-24
亲测好用，挺不错的资源，大家快来下载吧！挺有用的！需要的话可以来下载哦！可以拿到满分的网络代理，采用读者优先的方式避免竞争，避免了pipe broken造成的服务器中断。
CSAPP proxylab(9)
01-14
The ninth lab in the book CSAPP about chapter 11 and chapter 12 (according to the 2nd edition) on a proxy. Your work is to waiting for request and forward it to the end server. After receive the ...
ICS lab10 proxy lab
01-25
ics/csapp课程的最后一个lab 完成一个多线程的网络proxy端 可以实现代理的作用，可以利用浏览器设置ip以及端口port数字来实现其他电脑上使用本机代理浏览网页的功能，并符合课程lab要求。具体实现以及使用请见po主相关博文。
proxy lab参考答案
12-29
2014最新版proxy lab参考答案，小伙伴快来吧！
caspp的proxylab-handout
07-11
caspp的proxylab-handout，里面有详细的代码、测试、报告、解释，还有我女神的福利哦
csapp data lab 满分原创（北大&cmu;） 仅供参考，请勿抄袭
12-27
csapp data lab 2016年版本 满分原创（北大&cmu;） 仅供参考，请勿抄袭
【CSAPP】proxy Lab代理实验
热门推荐
a2888409
08-01 1万+
这个实验较为简单，但是要写出来还是得花一天半天的时间。主要实现到是一个代理的功能，接受客户端到请求，再代替客户端请求服务器相应的内容后，再返回给客户端。 多线程程序gdb调试： 1.info thread 显示当前有几个线程 2.thread num  转换到标号为num的线程，当前线程结束后，通过Ctrl+C返回前一个线程 下面直接贴上代码了，并且在文章的最后说明了对该代理程序如
CSAPP(CMU 15-213)：Lab7 proxylab详解
qq_42241839的博客
03-28 1841
# 前言 本系列文章意在记录答主学习CSAPP Lab的过程，也旨在可以帮助后人一二，欢迎大家指正！ tips:完成一个 Web proxy(代码服务器、并发服务器、可以缓存) Implementation 基本思想就是tiny server和echo server的结合，我因为之前不熟悉网络编程，所以把这两部分的示例代码重写了一遍，熟悉了一下。 tips: 信号SIGPIPE 依照handout的要求重新改写HTTP request headers Part I: Implementing a
《深入理解计算机系统》实验八Proxy Lab 下载和官方文档机翻
达的程序员日记
02-08 850
《深入理解计算机系统》实验八Proxy Lab 下载和官方文档机翻
CSAPP ProxyLab
Zzxy
05-01 436
csapp proxylab
CSAPP LAB---Proxy lab
The_V_的博客
07-11 9172
LAB8 0x00基础说明 这次的Proxy lab 是要求实现一个简单的web 代理，共有3个部分，第一部分是实现一个单线程代理，接收客户端请求，连接服务器然后转发。第二部分是实现并发，为每一个请求新建一个进程。第三部分是最有趣的，为每个请求建立独立的进程之后，该怎么共享进程之间整体的思路是这样的，proxy作为client和server的中间媒介，client发给请求给prox
csapp proxy lab
06-25
CSAPP Proxy Lab是CMU计算机科学系的一项课程作业。该作业旨在通过设计和实现一个基于代理服务器的Web代理，让学生更好地理解计算机网络、操作系统和编程等方面的知识，提高他们的编程能力和问题解决能力。 在这个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值