点对点(P2P)多线程断点续传的实现

最新推荐文章于 2022-11-30 15:11:57 发布
最新推荐文章于 2022-11-30 15:11:57 发布
阅读量391 收藏
点赞数
分类专栏： p2p流媒体 文章标签： 多线程 p2p socket 服务器 winapi null

 

P2P中国下载源代码:
upload/2004_06/04062118573143.zip

在如今的网络应用中，文件的传送是重要的功能之一，也是共享的基础。一些重要的协议像HTTP，FTP等都支持文件的传送。尤其是FTP，它的全称就是“文件传送协议”，当 初的工程师设计这一协议就是为了解决网络间的文件传送问题，而且以其稳定，高速，简单而一直保持着很大的生命力。作为一个程序员，使用这些现有的协议传送文件相当简单，不过，它们只适用于服务器模式中。这样，当我们想在点与点之间传送文件就不适用了或相当麻烦，有一种大刀小用的意味。笔者一直想寻求一种简单有效，且具备多线程断点续传的方法来实现点与点之间的文件传送问题，经过大量的翻阅资料与测试，终于实现了，现把它共享出来，与大家分享。
我写了一个以此为基础的实用程序（网络传圣，包含源代码），可用了基于TCP/IP的电脑上，供大家学习。
upload/2004_06/04062118541204.gif

(本文源代码运行效果图)


实现方法（VC＋＋，基于TCP/IP协议）如下：
仍釆用服务器与客户模式，需分别对其设计与编程。
服务器端较简单，主要就是加入待传文件，监听客户，和传送文件。而那些断点续传的功能，以及文件的管理都放在客户端上。

一、服务器端

首先介绍服务器端：
最开始我们要定义一个简单的协议，也就是定义一个服务器端与客户端听得懂的语言。而为了把问题简化，我就让服务器只要听懂两句话，一就是客户说“我要读文件信息”，二就是“我准备好了，可以传文件了”。
由于要实现多线程，必须把功能独立出来，且包装成线程，首先建一个监听线程，主要负责接入客户，并启动另一个客户线程。我用VC++实现如下：

DWORD WINAPI listenthread(LPVOID lpparam)
{ 

    //由主函数传来的套接字
　　SOCKET  pthis=(SOCKET)lpparam;
    //开始监听
 int rc=listen(pthis,30);
    //如果错就显示信息
    if(rc<0){
   CString aaa;
   aaa="listen错误/n";
      AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aaa.Get
Buffer(0),1);
   aaa.ReleaseBuffer();
   return 0;
 }
    //进入循环，并接收到来的套接字
 while(1){
    //新建一个套接字，用于客户端
 SOCKET s1;
 s1=accept(pthis,NULL,NULL);
 
　  //给主函数发有人联入消息
    CString aa;
    aa="一人联入！/n";
    AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aa.GetBuff
er(0),1);
 aa.ReleaseBuffer();
 DWORD dwthread;
    //建立用户线程
 ::CreateThread(NULL,0,clientthread,(LPVOID)s1,0,&dwthread); 
 }
 return 0;
}

接着我们来看用户线程：
先看文件消息类定义：

struct fileinfo
{
 int fileno;//文件号
 int type;//客户端想说什么（前面那两句话，用1,2表示）
 long len;//文件长度
 int seek;//文件开始位置，用于多线程

 char name[100];//文件名
};

用户线程函数: 

DWORD WINAPI clientthread(LPVOID lpparam)
{
 //文件消息
 fileinfo* fiinfo;
 //接收缓存
 char* m_buf;
 m_buf=new char[100];
 //监听函数传来的用户套接字
 SOCKET  pthis=(SOCKET)lpparam;
 //读传来的信息
 int aa=readn(pthis,m_buf,100);
 //如果有错就返回
 if(aa<0){
  closesocket (pthis);
  return -1;
 }
 //把传来的信息转为定义的文件信息
 fiinfo=(fileinfo*)m_buf;
 CString aaa;
 //检验客户想说什么
 switch(fiinfo->type)
 {
 //我要读文件信息
 case 0:
 //读文件
 aa=sendn(pthis,(char*)zmfile,1080);
 //有错
 if(aa<0){ 
  closesocket (pthis);
  return -1;
 }
 //发消息给主函数
 aaa="收到LIST命令/n";
     AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aaa.GetBu
ffer(0),1);
 break;
 //我准备好了，可以传文件了

 case 2:
 //发文件消息给主函数
 aaa.Format("%s  文件被请求！%s/n",zmfile[fiinfo->fileno].name,nameph[fii
nfo->fileno]);
 AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aaa.GetBuffer
(0),1);
 //读文件，并传送
 readfile(pthis,fiinfo->seek,fiinfo->len,fiinfo->fileno);
 //听不懂你说什么

 default:
 aaa="接收协议错误！/n";
     AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aaa.GetBu
ffer(0),1);
 break;
}

 return 0;
}

读文件函数 

void readfile(SOCKET  so,int seek,int len,int fino)
{
 //文件名
 CString myname;
 myname.Format("%s",nameph[fino]);
 CFile myFile;
 //打开文件
 myFile.Open(myname, CFile::modeRead | CFile::typeBinary|CFile::shareDen
yNone); 
 //传到指定位置　
 myFile.Seek(seek,CFile::begin);
 char m_buf[SIZE];
 int len2;
 int len1;
 len1=len;
 //开始接收，直到发完整个文件
 while(len1>0){
  len2=len>SIZE?SIZE:len;
  myFile.Read(m_buf, len2);
  int aa=sendn(so,m_buf,len2);
 if(aa<0){ 
  closesocket (so);
  break;
 }
 len1=len1-aa;
 len=len-aa;
 }
 myFile.Close();
}

服务器端最要的功能各技术就是这些，下面介绍客户端。

二、客户端

客户端最重要，也最复杂，它负责线程的管理，进度的记录等工作。

大概流程如下：
先连接服务器，接着发送命令1（给我文件信息），其中包括文件长度，名字等，然后根据长度决定分几个线程下载，并初使化下载进程，接着发送命令2（可以给我传文件了），并记录文件进程。最后，收尾。
这其中有一个十分重要的类，就是cdownload类，定义如下： 

class cdownload  
{
public:
 void createthread();//开线程
 DWORD finish1();//完成线程
 int sendlist();//发命令1
 downinfo doinfo;//文件信息（与服务器定义一样）
 int startask(int n);开始传文件n
 long m_index;
 BOOL good[BLACK];
 int  filerange[100];
 CString fname;
 CString fnametwo;
 UINT threadfunc(long index);//下载进程

 int sendrequest(int n);//发文件信息
 cdownload(int thno1);
 virtual ~cdownload();
};

下面先介绍sendrequest(int n)，在开始前，向服务器发获得文件消息命令，以便让客户端知道有哪些文件可传 

int cdownload::sendrequest(int n)
{
 //建套接字
 sockaddr_in local;
 SOCKET m_socket;

 int rc=0;
 //初使化服务器地址
 local.sin_family=AF_INET;
 local.sin_port=htons(1028);
 local.sin_addr.S_un.S_addr=inet_addr(ip);
 m_socket=socket(AF_INET,SOCK_STREAM,0);

 
 int ret;
 //联接服务器
 ret=connect(m_socket,(LPSOCKADDR)&local,sizeof(local));
 //有错的话
 if(ret<0){
  AfxMessageBox("联接错误");
 closesocket(m_socket);
 return -1;
 }
 //初使化命令
 fileinfo fileinfo1;
 fileinfo1.len=n;
 fileinfo1.seek=50;
 fileinfo1.type=1;
 //发送命令
 int aa=sendn(m_socket,(char*)&fileinfo1,100);
 if(aa<0){
  closesocket(m_socket);
  return -1;
 }
 //接收服务器传来的信息
  aa=readn(m_socket,(char*)&fileinfo1,100);
 if(aa<0){
  closesocket(m_socket);
  return -1;
 }
 //关闭
 shutdown(m_socket,2);
 closesocket(m_socket);

 return 1;
}

有了文件消息后我们就可以下载文件了。在主函数中，用法如下： 

//下载第clno个文件，并为它建一个新cdownload类
down[clno]=new cdownload(clno);
//开始下载，并初使化
type=down[clno]->startask(clno);
//建立各线程
createthread(clno);

下面介绍开始方法: 

//开始方法
int cdownload::startask(int n)
{
 //读入文件长度
 doinfo.filelen=zmfile[n].length;
 //读入名字
 fname=zmfile[n].name;
 CString tmep;
 //初使化文件名
 tmep.Format("//temp//%s",fname);

 //给主函数发消息
 CString aaa;
 aaa="正在读取 "+fname+" 信息，马上开始下载。。。/n";
 AfxGetMainWnd()->SendMessageToDescendants(WM_AGE1,(LPARAM)aaa.GetBuffer
(0),1);
 aaa.ReleaseBuffer();
 //如果文件长度小于0就返回
 if(doinfo.filelen<=0) return -1;
 //建一个以.down结尾的文件记录文件信息
 CString m_temp;
 m_temp=fname+".down";
 
 doinfo.name=m_temp;
 FILE* fp=NULL;
 CFile myfile;
 //如果是第一次下载文件，初使化各记录文件

 if((fp=fopen(m_temp,"r"))==NULL){
 filerange[0]=0;
 //文件分块
 for(int i=0;i<BLACK;i++)
 {
  if(i>0)
   filerange[i*2]=i*(doinfo.filelen/BLACK+1);
  filerange[i*2+1]=doinfo.filelen/BLACK+1;
 }
 filerange[BLACK*2-1]=doinfo.filelen-filerange[BLACK*2-2];

 myfile.Open(m_temp,CFile::modeCreate|CFile::modeWrite | CFile::typeBina
ry);

 //写入文件长度
 myfile.Write(&doinfo.filelen,sizeof(int));
 myfile.Close();
　
 CString temp;
 for(int ii=0;ii<BLACK;ii++){
 //初使化各进程记录文件信息（以.downN结尾）

 temp.Format(".down%d",ii);
 m_temp=fname+temp;
 myfile.Open(m_temp,CFile::modeCreate|CFile::modeWrite | CFile::typeBina
ry);
 //写入各进程文件信息
 myfile.Write(&filerange[ii*2],sizeof(int));
 myfile.Write(&filerange[ii*2+1],sizeof(int));
 myfile.Close();
 }

 ((CMainFrame*)::AfxGetMainWnd())->m_work.m_ListCtrl->AddItemtwo(n,2,0,0
,0,doinfo.threadno);
 }
 else{
 //如果文件已存在，说明是续传，读上次信息
 CString temp;
　
 m_temp=fname+".down0";
 if((fp=fopen(m_temp,"r"))==NULL)
  return 1;
 else fclose(fp);

 int bb;
 bb=0;
 //读各进程记录的信息
 for(int ii=0;ii<BLACK;ii++)
 {
  temp.Format(".down%d",ii);
  m_temp=fname+temp;
　
  myfile.Open(m_temp,CFile::modeRead | CFile::typeBinary);
  myfile.Read(&filerange[ii*2],sizeof(int));
  myfile.Read(&filerange[ii*2+1],sizeof(int));
  myfile.Close();

  bb = bb+filerange[ii*2+1];
  CString temp;
 }
 if(bb==0) return 1;
 doinfo.totle=doinfo.filelen-bb;
　
 ((CMainFrame*)::AfxGetMainWnd())->m_work.m_ListCtrl->AddItemtwo(n,2,doi
nfo.totle,1,0,doinfo.threadno);

 }

　 //建立下载结束进程timethread，以管现各进程结束时间。
 DWORD dwthread;
 ::CreateThread(NULL,0,timethread,(LPVOID)this,0,&dwthread);

 return 0;
}

下面介绍建立各进程函数，很简单： 

void CMainFrame::createthread(int threadno)
{
 DWORD dwthread;
 //建立BLACK个进程
 for(int i=0;i<BLACK;i++)
 {
  m_thread[threadno][i]= ::CreateThread(NULL,0,downthread,(LPVOID)down[t
hreadno],0,&dwthread);
 }
}

downthread进程函数 

DWORD WINAPI downthread(LPVOID lpparam)
{
 cdownload* pthis=(cdownload*)lpparam;
 //进程引索＋1
 InterlockedIncrement(&pthis->m_index);
 //执行下载进程
 pthis->threadfunc(pthis->m_index-1);
 return 1;
}

下面介绍下载进程函数,最最核心的东西了 

UINT cdownload::threadfunc(long index)
{
 //初使化联接
 sockaddr_in local;
 SOCKET m_socket;

 int rc=0;
　
 local.sin_family=AF_INET;
 local.sin_port=htons(1028);
 local.sin_addr.S_un.S_addr=inet_addr(ip);
 m_socket=socket(AF_INET,SOCK_STREAM,0);

 int ret;
 //读入缓存
 char* m_buf=new char[SIZE];
 int re,len2;
 fileinfo fileinfo1;
 //联接
 ret=connect(m_socket,(LPSOCKADDR)&local,sizeof(local));
 //读入各进程的下载信息
 fileinfo1.len=filerange[index*2+1];
 fileinfo1.seek=filerange[index*2];
 fileinfo1.type=2;
 fileinfo1.fileno=doinfo.threadno;
　
 re=fileinfo1.len;
　
 //打开文件　
 CFile destFile;
 FILE* fp=NULL;
 //是第一次传的话
 if((fp=fopen(fname,"r"))==NULL)
  destFile.Open(fname, CFile::modeCreate|CFile::modeWrite | CFile::typeB
inary|CFile::shareDenyNone);
 else
  //如果文件存在，是续传
  destFile.Open(fname,CFile::modeWrite | CFile::typeBinary|CFile::shareD
enyNone);
 //文件指针移到指定位置
 destFile.Seek(filerange[index*2],CFile::begin);
 //发消息给服务器，可以传文件了
 sendn(m_socket,(char*)&fileinfo1,100);

 CFile myfile;
 CString temp;
 temp.Format(".down%d",index);
 m_temp=fname+temp;

　 //当各段长度还不为0时
 while(re>0){
  len2=re>SIZE?SIZE:re;
　
  //读各段内容
  int len1=readn(m_socket,m_buf,len2);
  //有错的话
  if(len1<0){
   closesocket(m_socket);
   break;
  }
　
 //写入文件
 destFile.Write(m_buf, len1); 

 //更改记录进度信息

 filerange[index*2+1]-=len1;
 filerange[index*2]+=len1;
 //移动记录文件指针到头
 myfile.Seek(0,CFile::begin);
 //写入记录进度
 myfile.Write(&filerange[index*2],sizeof(int));
 myfile.Write(&filerange[index*2+1],sizeof(int));

 //减去这次读的长度
 re=re-len1;

 //加文件长度
 doinfo.totle=doinfo.totle+len1;
 };
 
 //这块下载完成，收尾
　
 myfile.Close();
 destFile.Close();
 delete [] m_buf;
 shutdown(m_socket,2);
　
　
 if(re<=0) good[index]=TRUE;
 return 1;
}

到这客户端的主要模块和机制已基本介绍完。希望好好体会一下这种多线程断点续传的方法。

作者信息:
姓名:赵明
email: papaya_zm@sina.com 或 zmpapaya@hotmail.com
主页: http://h2osky.126.com

 

zczc250
关注
专栏目录
点对点多线程断点续传的实现
08-06
总的来说，点对点多线程断点续传技术结合了P2P网络的分布式特性、多线程的并发优势以及断点续传的高效传输策略，为大文件的网络传输提供了可靠且高效的解决方案。在VC++中实现这一功能需要对网络编程、多线程编程和...
C++ 关于断点续传的方法,使用CURL技术
MAC 应用开发
04-11 3020
STEP1 CURL *curlhandle = NULL; // curl_global_init(CURL_GLOBAL_ALL); curlhandle = curl_easy_init(); bool flag = download(curlhandle,myvar->url.c_str(),myvar->path.c_str(), myvar->proxy_addr
蓝牙协议分析_BLE地址类型
挖到尽头
10-23 1万+
SYD8801是一款低功耗高性能蓝牙低功耗SOC，集成了高性能2.4GHz射频收发机、32位ARM Cortex-M0处理器、128kB Flash存储器、以及丰富的数字接口。SYD8801片上集成了Balun无需阻抗匹配网络、高效率DCDC降压转换器，适合用于可穿戴、物联网设备等。具体可咨询：http://www.sydtek.com/ 1. 前言 也许关注BLE的同学都注意到了，BLE设备...
文件下载的断点续传是如何实现的？TCP的基础特性有哪些？
机械猿的博客
12-07 1988
文章转自本人公众号：机械猿，本人之前在四川某汽轮机从事结构强度设计，目前在阿里巴巴淘宝事业部担任高级开发工程师，有机械工程同行想转行IT，或者有想入职BAT的可以找我内推~ 从一个图像传输项目说起 建连成功率，是网络特别是无线网络关注的重要指标。对于客户端demo，无论哪个平台做网络请求调用socket接口都能完成基本的数据收发流程。但是不做优化的话，成功率基本在95%左右。系统调用接口基本是...
ESXi 网络配置笔记
IOsetting的专栏
02-04 2542
ESXi 6.5 & 7.0 给虚机添加双网卡 当宿主机的多个网口分别连接不同网关或子网，希望虚机也具备同时通过多网卡连接不同网段的能力，可以直接通过界面配置 宿主机新增虚拟交换机，新增端口组 对于宿主机，先确认各网口对应物理适配器的编号，可在服务器的网络配置界面查看链接状态；并选择需要连接的网络适配器。 通过左侧导航网络->虚拟交换机， ESXi默认内建了一个虚拟交换机vSwi...
商业编程-源码-点对点多线程断点续传软件《传圣》源代码.zip
06-22
点对点（P2P）多线程断点续传技术是互联网中一种高效的数据传输方式，尤其在大文件传输时表现出优越性。这个压缩包文件包含的是一个名为《传圣》的软件的源代码，这是一款专为商业环境设计的、支持多线程和断点续传...
点对点(P2P)多线程断点续传的C++实现
06-17
在C++中实现P2P多线程断点续传涉及到以下几个核心概念和技术： 1. **网络编程**：使用套接字（Sockets）API进行网络通信，这是C++中实现P2P的基础。需要理解TCP/IP协议栈，包括IP地址、端口号、TCP连接建立和关闭等...
点对点多线程断点续传软件源代码
09-24
在这个"点对点多线程断点续传软件源代码"项目中，我们可以学习到以下几个关键知识点： 1. **P2P网络架构**：理解P2P网络的工作原理，包括节点的发现、连接建立、数据交换等。这可能涉及到TCP/IP协议栈、UDP协议以及...
基于TCP协议的Socket通信,实现文件断点续传
苏凯的博客
07-02 4232
代码示例： 实现文件断点续传 先编写一个服务端和客户端都会用到的流解析类： StreamTool.java： public class StreamTool { public static void save(File file, byte[] data) throws Exception { FileOutputStream outStream = new F...
TCP文件传输系统（Version 1.6 多线程，断点续传，支持大文件传输）
03-27
采用Visual C++ 6.0开发的一个TCP文件传输系统，采用多线程的传输方式，支持断点续传，利用配置文件设置基本的初始化信息。 文件包括源代码和安装包，源代码里包括自定义的文件传输通信协议。 程序采用分层的设计方案，将底层的配置文件和文件操作封装成基本模型组件，并定义了文件传输模型，提供视图和底层模型进行交互的外观；视图层分离为视图和控制两块，视图信息的更新由控制层进行控制。 新版本利用内存文件映射的技术重写了文件模型，使得程序支持大文件的传输（最大16EB），提高了文件操作效率；此外，改善了视图的显示方式，更加方便了传输进度信息的查看。
TCP协议的断点续传.rar
04-05
TCP协议的断点续传.rar
Vc++ 点对点文件传输程序源文件
03-15
内容索引:VC/C++源码,网络相关,文件传输　　Vc++ 点对点文件传输源程序，相对简单的那种，需要在客户端指定IP地址，在服务端浏览所要发送的文件，点确认即可。程序面向VC++初学者，简洁明了，作为初级网络编程实例值得参阅。
vc编写http多线程断点续传程序
09-14
一个用mfc编写的多线程下载程序，只支持http，可断点续传，有完整源码，作者blog：http://blog.csdn.net/sx1989827 有什么疑问希望与作者交流
c++日常杂记
A3872215的专栏
03-23 451
const修饰函数 在类中将成员函数修饰为const表明在该函数体内，不能修改对象的数据成员而且不能调用非const函数。为什么不能调用非const函数？因为非const函数可能修改数据成员，const成员函数是不能修改数据成员的，所以在const成员函数内只能调用const函数。 ...
c++ socket TCP/IP发送文件，大文件
yingLGG的博客
05-26 1873
以下用C++代码实现了文件的发送与接收 服务器端 #include <iostream> #include <stdio.h> #include <WinSock2.h> #pragma comment(lib,"ws2_32.lib") using namespace std; //缓存大小设置不能超过2M #define BUFF_SIZE (1024 * 1024) #define FILE_NAME_LENGTH 1024 int s;
TCP+HTTP实现了断点续传
weixin_41611475的博客
08-25 775
微信公众号：小浩笔记 什么是断点续传？ 断点续传，在我们生活中起了很大作用，也帮我们节省了很多时间，就是信号中断后(掉线或关机等),下次能够从上次的地方接着传送(一般指下载或上传),不支持断点续传就意味着下次下载或上传必须从零开始. 举个简单的例子：迅雷上次没传完，下次打开，就可以直接传了。 解决方案： 下载：多次握手，首先得到断点续传的起始位置，然后打开文件读取偏移量，从断点续传位置开始上传。写文件的时候要用追加模式； 上传：S端记录上次传的记录，下次C上传的时候，问下S上传到哪了，C就从上次
c++实现文件传输之三：断点续传与多线程传输
热门推荐
10-21 1万+
继木马编程DIY的上两篇,现在我们开始讨论断点续传与多线程文件传输的实现.其实这两项功能是下载软件所必不可少的功能了,现在我们把它加到自己的木马中来感受感受.提到多线程下载,首先向网络蚂蚁的作者洪以容前辈致敬,正是由于网络蚂蚁而使得多线程下载被关注并流行起来.在这本篇文章中我们将简单的实现支持断点续传和多线程传输的程序.为了更清晰的说明问题,我们将断点续传与多线程传输分别用两个程序来实现多线程传输
C&C++——基于文件拷贝实现断点续传【简单实现】
最新发布
weixin_47296855的博客
11-30 643
基于文件拷贝实现的断点续传
点对点(P2P)多线程断点续传技术解析
实现P2P多线程断点续传的关键步骤如下： 1. **文件分块**：在P2P网络中，大文件会被分割成多个小块，以便多个节点可以同时下载不同的部分。这大大提高了下载速度，因为数据可以从多个源同时获取。 2. **连接建立**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值