socket http文件下载器c语言实现

socket是网络编程的基石, 本文介绍如何使用c语言使用socket实现一个http文件下载器.

下载分为以下几个过程

1. 解析出下载地址中的域名和文件名
2. 通过域名获取服务器的IP地址
3. 与目标服务器建立连接
4. 构建http请求头并将其发送到服务器
5. 等待服务器响应然后接收响应头
6. 解析响应头, 判断返回码, 分离开响应头, 并且响应的正文内容以字节形式写入文件, 正文内容与头部用两个\n\r分开

具体实现完全可以通过代码看明白, 只需要看main函数和download函数即可, 其他函数都不是核心

完整的实现(Linux平台)

一下代码是单线程执行, 所以我把线程加进去感觉有点多此一举, 算是描述多线程下载吧, 这里补上没有使用线程的代码并能显示下载速度的代码 https://github.com/xanarry/http-downloader/blob/master/http_downloader.c

#include <stdio.h>
#include <string.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <netdb.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <pthread.h>
#include <sys/time.h>

struct resp_header//保持相应头信息
{
    int status_code;//HTTP/1.1 '200' OK
    char content_type[128];//Content-Type: application/gzip
    long content_length;//Content-Length: 11683079
    char file_name[256];
};

struct resp_header resp;//全剧变量以便在多个进程中使用

void parse_url(const char *url, char *domain, int *port, char *file_name)
{
    /*通过url解析出域名, 端口, 以及文件名*/
    int j = 0;
    int start = 0;
    *port = 80;
    char *patterns[] = {
  "http://", "https://", NULL};

    for (int i = 0; patterns[i]; i++)
        if (strncmp(url, patterns[i], strlen(patterns[i])) == 0)
            start = strlen(patterns[i]);

    //解析域名, 这里处理时域名后面的端口号会保留
    for (int i = start; url[i] != '/' && url[i] != '\0'; i++, j++)
        domain[j] = url[i];
    domain[j] = '\0';

    //解析端口号, 如果没有, 那么设置端口为80
    char *pos = strstr(domain, ":");
    if (pos)
        sscanf(pos, ":%d", port);

    //删除域名端口号

    for (int i =