miniFTP项目实战五

最新推荐文章于 2021-08-06 15:57:54 发布
最新推荐文章于 2021-08-06 15:57:54 发布
阅读量318 收藏 2
点赞数 1
分类专栏： miniFTP项目实战 Linux 文章标签： linux 网络 嵌入式 FTP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43743762/article/details/113828891
版权

项目简介：
在Linux环境下用C语言开发的Vsftpd的简化版本，拥有部分Vsftpd功能和相同的FTP协议，系统的主要架构采用多进程模型，每当有一个新的客户连接到达，主进程就会派生出一个ftp服务进程来为客户提供服务。同时每个ftp服务进程配套了nobody进程（内部私有进程），主要是为了做权限提升和控制。
实现功能：
除了基本的文件上传和下载功能，还实现模式选择、断点续传、限制连接数、空闲断开、限速等功能。
用到的技术：
socket、I/O复用、进程间通信、HashTable
欢迎技术交流q：2723808286
项目开源！！！

miniFTP项目实战一
miniFTP项目实战二
miniFTP项目实战三
miniFTP项目实战四
miniFTP项目实战五
miniFTP项目实战六

在这里插入图片描述

文章目录

5.1 下载文件 断点续载

RETR命令是从服务器下载文件，命令流程如下：
在这里插入图片描述

通过RETR 命令来指定下载文件，当传输中断的时候客户端保存已下载文件的偏移量，后面续传的时候从REST的位置继续传输，从而达到断点续载的效果。

加锁读取文件

在获取数据传输通道之后，服务器要打开文件，以只读的方式打开文件，并加读锁：

//打开文件 只读
int  fd = open(sess->arg, O_RDONLY);
if (fd == -1) {
    ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
}
//加读锁
int ret = lock_file_read(fd);
if (ret == -1) {
    ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
    return ;
}

加锁的具体操作如下：

int lock_file_read(int fd)
{
  int ret;
  struct flock the_lock;
  memset(&the_lock, 0, sizeof(the_lock));
  the_lock.l_type = F_RDLCK;  //加锁类型为：读锁
  the_lock.l_whence = SEEK_SET;  //文件头部开始加锁
  the_lock.l_start = 0;        //文件头开始的偏移地址开始加锁
  the_lock.l_len = 0;         //加锁的范围 0表示将整个文件加锁

  do {
    ret = fcntl(fd, F_SETLKW, &the_lock);  //文件描述符  加锁 锁相关的结构体
  } while (ret < 0 && errno == EINTR);  //排除信号中断

  return ret;
}

定位到断点

如果是之前传输中断之后的，会通过REST来设置断点，在do_rest函数中，保存断点位置到sess中：

static void do_rest(session_t *sess)
{
    //字符串转换为long long
    sess->restart_pos = str_to_longlong(sess->arg); 
    char text[1024] = {0};
    sprintf(text, "Restart position accepted (%lld)", sess->restart_pos);
    ftp_relply(sess, FTP_RESTOK, text);
}

然后通过lseek函数定位到断点处：

//定位到断点
if (offset != 0) {
    ret = lseek(fd, offset, SEEK_SET);  //从头开始
    if (ret == -1) {
        ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
        return ;
    }
}

传输文件

文件本身是放在磁盘中存放的，从磁盘到内核是通过DMA取得，这里我们从内核再读取文件，通过read系统调用来读取文件，然后通过writen写入内核，通过socket发送出去：

char buf[4096];
int flag = 0;
while (1) {
    ret = read(fd, buf, sizeof(buf));
    if (ret == -1) {  //被中断打断 继续执行  其他情况退出
        if (errno == EINTR) continue;
        else {
            flag = 1;
            break;
        }
    } else if (ret == 0) {  //成功读完
        flag = 0;
        break;
    }

    if (writen(sess->data_fd, buf, sizeof(buf)) != ret) {  //写入失败
        flag = 2;
        break;
    }
}

但是这样传输文件得话，从内核到用户空间，再从用户空间到内核，开销太大了。

下面采用直接在内核中完成拷贝得方式：

    long long bytes_to_send = sbuf.st_size;
    if (offset > bytes_to_send) {
        bytes_to_send = 0;
    } else {
        bytes_to_send -= offset;
    }

    sess->bw_transfer_start_sec = get_time_sec();
    sess->bw_transfer_start_usec = get_time_usec();
    while (bytes_to_send) {
        int num_this_time = bytes_to_send > 4096 ? 4096 : bytes_to_send;  //决定当此发送的数据字节数
        ret = sendfile(sess->data_fd, fd, NULL, num_this_time); 
        if (ret == -1) {
            flag = 2;
            break;
        }

        limit_rate(sess, bytes_to_send, 0);  //限速
        if (sess->abor_received) {
            flag = 2;
            break;
        }
        bytes_to_send -= ret;  //更新要发送的Byte
    }
    if (bytes_to_send == 0) {
        flag = 0;
    } else {
        flag = 2;
    }

主要是通过sendfile函数实现，其函数原型如下：

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

sendfile 函数在两个文件描写叙述符之间直接传递数据(全然在内核中操作，传送)，从而避免了内核缓冲区数据和用户缓冲区数据之间的拷贝，操作效率非常高，被称之为零拷贝。

参考：https://blog.csdn.net/u010649766/article/details/80339988

几种零拷贝技术的对比：https://mp.weixin.qq.com/s/eHhhW8j3vs8puMkC5zoIpQ

综合起来看一下RETR的操作函数：

static void do_retr(session_t *sess)
{
    //获取数据传输通道的fd
    if (get_transfer_fd(sess) == 0) {
        return ;
    }

    long long offset = sess->restart_pos;
    sess->restart_pos = 0;

    //打开文件 只读
    int  fd = open(sess->arg, O_RDONLY);
    if (fd == -1) {
        ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
    }
    //加读锁
    int ret = lock_file_read(fd);
    if (ret == -1) {
        ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
        return ;
    }

    //判断文件类型 是否是普通文件
    struct stat sbuf;
    ret = fstat(fd, &sbuf);
    if (!S_ISREG(sbuf.st_mode)) {  //不是普通文件
        ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
        return ;
    }

    //定位到断点
    if (offset != 0) {
        ret = lseek(fd, offset, SEEK_SET);  //从头开始
        if (ret == -1) {
            ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
            return ;
        }
    }

    //回应150  ASCII与二进制传输唯一的区别就是 ：是否对\r\n处理
    char tmp[1024] = {0};
    if (sess->is_ascii) {  //ASCII模式
        sprintf(tmp, "Opening ASCII mode data connection for %s (%lld bytes).", 
                    sess->arg, (long long)sbuf.st_size);
    } else {      //二进制模式
        sprintf(tmp, "Opening BINARY mode data connection for %s (%lld bytes).", 
                    sess->arg, (long long)sbuf.st_size);
    }
    ftp_relply(sess, FTP_DATACONN, tmp);

    //下载文件
    //从内核到用户空间 再到内核
    char buf[4096];
    int flag = 0;
    // while (1) {
    //     ret = read(fd, buf, sizeof(buf));
    //     if (ret == -1) {  //被中断打断 继续执行  其他情况退出
    //         if (errno == EINTR) continue;
    //         else {
    //             flag = 1;
    //             break;
    //         }
    //     } else if (ret == 0) {  //成功读完
    //         flag = 0;
    //         break;
    //     }

    //     if (writen(sess->data_fd, buf, sizeof(buf)) != ret) {  //写入失败
    //         flag = 2;
    //         break;
    //     }
    // }

    //直接在内核中完成拷贝
    long long bytes_to_send = sbuf.st_size;
    if (offset > bytes_to_send) {
        bytes_to_send = 0;
    } else {
        bytes_to_send -= offset;
    }

    sess->bw_transfer_start_sec = get_time_sec();
    sess->bw_transfer_start_usec = get_time_usec();
    while (bytes_to_send) {
        int num_this_time = bytes_to_send > 4096 ? 4096 : bytes_to_send;  //决定当此发送的数据字节数
        ret = sendfile(sess->data_fd, fd, NULL, num_this_time); 
        if (ret == -1) {
            flag = 2;
            break;
        }

        limit_rate(sess, bytes_to_send, 0);  //限速
        if (sess->abor_received) {
            flag = 2;
            break;
        }
        bytes_to_send -= ret;  //更新要发送的Byte
    }
    if (bytes_to_send == 0) {
        flag = 0;
    } else {
        flag = 2;
    }

    close(sess->data_fd);
    sess->data_fd = -1;
    close(fd);

    if (flag == 0) {
        ftp_relply(sess, FTP_TRANSFEROK, "Transfer complete.");
    } else if (flag == 1) {  //读取失败
        ftp_relply(sess, FTP_BADSENDFILE, "Failure reading from local file.");
    } else if (flag == 2) {  //发送失败
        ftp_relply(sess, FTP_BADSENDNET, "Failure writting to networks stream.");
    }

    check_abor(sess);
    start_cmdio_alarm();  //数据传输完毕之后 重新启动控制通道时钟
}

5.2 上传文件 断点续传

上传文件有三种方式：

  • STOR + REST：断点续传
  • APPE：追加
  • STOR：覆盖

直接通过upload_common来实现上传文件操作

/* 上传命令      下载命令
 *  STOR          RETR
 * 
 * 断点续传      断点续载
 *  REST          REST
 *  STOR          RETR
 * 
 *  APPE
 * 用upload_common() 来区别APPE断点续传与REST+STOR断点续传
 *  */
static void do_stor(session_t *sess)
{
    upload_common(sess, 0);
}

static void do_appe(session_t *sess)
{
    upload_common(sess, 1);
}

具体操作如下：

void upload_common(session_t *sess, int is_append)
{
    int flag = 0;
    //获取数据传输通道的fd
    if (get_transfer_fd(sess) == 0) {
        return ;
    }

    //保存断点ian
    long long offset = sess->restart_pos;
    sess->restart_pos = 0;

    //以写入的方式创建文件
    int  fd = open(sess->arg, O_CREAT | O_WRONLY, 0666);
    if (fd == -1) {
        ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
        return ;
    }
    //加写锁
    int ret = lock_file_write(fd);
    if (ret == -1) {
        ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
        return ;
    }

    //三种上传方式：STOR、STOR+REST、APPE
    if (!is_append && offset == 0) {   //覆盖文件
        ftruncate(fd, 0); 
        if (lseek(fd, 0, SEEK_SET) < 0) {
            ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
            return ;
        }
    } else if (!is_append && offset != 0) {  //REST+STOR  断点续传
        if (lseek(fd, offset, SEEK_SET) < 0) {
            ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
            return ;
        }
    } else if (is_append) {//APPE  追加到末尾
        if (lseek(fd, 0, SEEK_END) < 0) {
            ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
            return ;
        }          
    }

    //获取文件状态
    struct stat sbuf;
    ret = fstat(fd, &sbuf);
    if (!S_ISREG(sbuf.st_mode)) {  //不是普通文件
        ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
        return ;
    }

    //回应150  ASCII与二进制传输唯一的区别就是 ：是否对\r\n处理
    char tmp[1024] = {0};
    if (sess->is_ascii) {  //ASCII模式
        sprintf(tmp, "Opening ASCII mode data connection for %s (%lld bytes).", 
                    sess->arg, (long long)sbuf.st_size);
    } else {      //二进制模式
        sprintf(tmp, "Opening BINARY mode data connection for %s (%lld bytes).", 
                    sess->arg, (long long)sbuf.st_size);
    }
    ftp_relply(sess, FTP_DATACONN, tmp);

    //接收文件  从data_fd中接收数据，放在buf中，然后写入文件
    char buf[1024];
    int data_fd = sess->data_fd;

    sess->bw_transfer_start_sec = get_time_sec();
    sess->bw_transfer_start_usec = get_time_usec();

    while (1) {
        ret = read(data_fd, buf, sizeof(buf));
        if (ret == -1) {  //被中断打断 继续执行  其他情况退出
            if (errno == EINTR) continue;
            else {
                flag = 2;         //从数据socket读取失败
                break;
            }
        } else if (ret == 0) {  //成功读完
            flag = 0;
            break;
        }

        limit_rate(sess, ret, 1);  //判断上传限速
        if (sess->abor_received) {  //数据传输过程中的ABOR处理 给426回复
            flag = 2;
            break;
        }

        if (writen(fd, buf, sizeof(buf)) != ret) {  //写入到本地文件失败
            flag = 1;
            break;
        }
    }
    close(sess->data_fd);
    sess->data_fd = -1;
    close(fd);

    if (flag == 0) {
        ftp_relply(sess, FTP_TRANSFEROK, "Transfer complete.");
    } else if (flag == 1) {  //写入本地失败
        ftp_relply(sess, FTP_BADSENDFILE, "Failure writting to local file.");
    } else if (flag == 2) {  //读取网络失败
        ftp_relply(sess, FTP_BADSENDNET, "Failure reading from networks stream.");
    }

    check_abor(sess);  //传输完成后检查ABOR
    start_cmdio_alarm();  //数据传输完毕之后 重新启动控制通道时钟
}
Aspirant-GQ
关注
专栏目录
miniftp
weixin_43393776的博客
03-26 559
miniftp服务器是一个小型的文件传输服务器，用的是ftp协议，FTP工作在tcp/ip的应用层，传输层用的是tcp协议，基于C/S架构。 ftp所能支持的文件类型：ASCII、EBCDIC、图像文件、本地文件。 FTP工作原理：用户界面-用户协议解释器（服务器协议解释器）-用户数据传输进程（服务器数据传输进程）-文件系统 启动FTP-建立控制连接（客户端TCP协议层根据给出的服务器IP地址，向...
laravel框架实战学习心得
m0_72526946的博客
06-12 260
众所周知，随着信息技术的高速发展并迅速渗透到社会生活的各个方面，计算机日益成为人们的学习，工作，生活不可缺少的基本工具，不会使用计算机，就会像不认字的人一样使人举步维限。但是随着本学期凌老师的带领学习下，学习的加固，兴趣的提升，学习的深入，我逐渐开始认识到计算机世界的精彩，也开始逐渐领悟计算机学习的重要性。总的来说，任何的学习对于我们来说都是进步，而在这个的信息时代，我们不单单要牢牢掌握专业知识，也要紧跟时代的步伐，学好计算机，成长为新时代的优秀人才！所以学习计算机，在学习素质方面，对我有不小的影响。
miniftp项目
weixin_45425093的博客
08-12 364
1.系统框架搭建 common.h<头文件定义> sysutil<公有工具定义> int tcp_server(const char *host, unsigned short port); int accept_timeout(int fd, struct sockaddr_in *addr, unsigned int wait_seconds); miniftp&lt...
miniftp (简化版vsftp) 项目开发及源码
inbit的博客
03-15 1618
文章目录1.miniftp1.1项目简介1.2ftp了解1.3开发环境搭建虚拟机搭建vsftpd的安装1.4项目技术概况2.功能模块代码公共头文件common.h宏参数定义头文件ftpcods.h项目整体架构主进程（main入口主进程）miniftp.c套接字模块sysutil.hsysutil.c字符串处理str.hstr.c会话层（nobody进程与其服务子进程的建立）session.hsession.cnobody进程privparent.hprivparent.cnobody的服务进程ftpprot
迷你FTP（超级小）
07-19
迷你FTP 简单，不是专业的，超小，超简单，无需安装。设置简单，适用于临时传数据什么的。 声明：东西是好久以前从网上下的，可能会报毒，但是我一直用，没有发现什么情况.. 所以下下来之后说有毒什么的不要骂我。
miniFTP项目实战一
肥宅快乐博客
02-16 775
项目简介： 在Linux环境下用C语言开发的Vsftpd的简化版本，拥有部分Vsftpd功能和相同的FTP协议，系统的主要架构采用多进程模型，每当有一个新的客户连接到达，主进程就会派生出一个ftp服务进程来为客户提供服务。同时每个ftp服务进程配套了nobody进程（内部私有进程），主要是为了做权限提升和控制。 实现功能： 除了基本的文件上传和下载功能，还实现模式选择、断点续传、限制连接数、空闲断开、限速等功能。 用到的技术： socket、I/O复用、进程间通信、HashTable 文章目录一.FTP.
网络入门实战课程 第一节到第三节
qq_43089411的博客
09-18 226
微思网络 网络入门实战课程 第一节 零基础学好网络技术 1、听课+做实验+有问题及时问，及时解答； 2、搭建实验平台 第一步：安装VirtualBox-5.2.12-122591-Win.exe 、winPcap 第二步：安装Wireshark-win64-2.0.2 （抓包软件，可选安装） 第三步：安装eNSP V100R003C00SPC100 Setup 3.ensp 路由器注册 不成。vbox无法打开。修改注册表CLSID值后，vbox可以 打开，完成路由器注册。ensp可以顺利使用。
iOS、mac开源项目及库汇总
Thinker361的专栏
05-21 9935
UI  下拉刷新  EGOTableViewPullRefresh - 最早的下拉刷新控件。 SVPullToRefresh - 下拉刷新控件。 MJRefresh - 仅需一行代码就可以为UITableView或者CollectionView加上下拉刷新或者上拉刷新功能。可以自定义上下拉刷新的文字说明。具体使用看“使用方法”。 （国人写） XHRefreshControl - X
轻量FTP Server
03-09
迷你版FTP server，用于windows平台,用于共享目录.修改FtpServer.cfg里homedir即可，任意用户名和密码.
迷你FTP服务器,MiNi Ftp Server(简易FTP服务器)
01-27
迷你FTP服务器,MiNi Ftp Server(简易FTP服务器),存在网盘或QQ里面,随时随地开FTP哦·呵呵· 网上好多版本,基本都是一样的,我也仿照做了一个·
miniFTP 纯C
06-12
纯用C语言编写的FTP的服务端，可与客户端成功通信
迷你FTP服务器 史上最轻便最小
05-15
最小的FTP服务器，可以使用户匿名访问，也可设立用户访问，多权限选择。
mini-sftp-server.x64.exe
12-18
sftp工具，用于windows 64位操作系统，自有配置sftp用户名、密码、服务端口、文件路径
miniftp服务器技术文档,ftp服务器 mini
weixin_36397509的博客
08-06 384
ftp服务器 mini 内容精选换一换通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。FTP和SFTP的连接参数相同。通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。FTP和SFTP的连接参数相同。ftp服务器 mini 相关内容介绍常见的安全组配置示例。如下示例中，出方向默认全通，仅介...
miniFTP项目实战二
肥宅快乐博客
02-16 427
项目简介： 在Linux环境下用C语言开发的Vsftpd的简化版本，拥有部分Vsftpd功能和相同的FTP协议，系统的主要架构采用多进程模型，每当有一个新的客户连接到达，主进程就会派生出一个ftp服务进程来为客户提供服务。同时每个ftp服务进程配套了nobody进程（内部私有进程），主要是为了做权限提升和控制。 实现功能： 除了基本的文件上传和下载功能，还实现模式选择、断点续传、限制连接数、空闲断开、限速等功能。 用到的技术： socket、I/O复用、进程间通信、HashTable 文章目录2.1总体.
学习miniftpd项目--01
qq_24459007的博客
05-14 452
FTP协议是什么？文件传输协议（File Transfer Protocol）,它工作在TCP/IP协议族的应用层，其传输层使用的是TCP协议，工作模式为C/S（客户/服务器模式）。FTP支持的文件类型有哪些？（1）ASCII码文件，这是FTP默认的文本格式。（常用）（2）EBCDIC码文件，该文本文件在传输时要求两端都使用EBCDIC码。（3）图像文件，也称作二进制文件类型。发送的数据为连续的比...
ftpserver(迷你ftp服务器)
最新发布
06-27
FTP服务器分为大型和迷你类两种，其中迷你FTP服务器由于其轻量、易用、便携等特性，成为了广泛应用的一种FTP服务器。 迷你FTP服务器具有简单易用的特点，可以轻松搭建FTP服务器并实现文件的上传和下载。其操作简单...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值