原文： https://www.2cto.com/kf/201401/273290.html
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失为一种好的方法。
1.基础的基于socket进行传输
基础的基于socket进行传输关键在于控制，需要自己行分包和组包。
原理很简单那，我们就直接看一下代码吧。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
|
// file_server.c -- socket文件传输服务器端示例代码
// /
#include<netinet in.h=
""
>
#include<sys types.h=
""
>
#include<sys socket.h=
""
>
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#define HELLO_WORLD_SERVER_PORT
6666
#define LENGTH_OF_LISTEN_QUEUE
20
#define BUFFER_SIZE
1024
#define FILE_NAME_MAX_SIZE
512
int
main(
int
argc,
char
**argv)
{
// set socket's address information
// 设置一个socket地址结构server_addr,代表服务器internet的地址和端口
struct sockaddr_in server_addr;
bzero(&server_addr, sizeof(server_addr));
server_addr.sin_family = AF_INET;
server_addr.sin_addr.s_addr = htons(INADDR_ANY);
server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT);
// create a stream socket
// 创建用于internet的流协议(TCP)socket，用server_socket代表服务器向客户端提供服务的接口
int
server_socket = socket(PF_INET, SOCK_STREAM,
0
);
if
(server_socket <
0
)
{
printf(Create Socket Failed!
);
exit(
1
);
}
// 把socket和socket地址结构绑定
if
(bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr)))
{
printf(Server Bind Port: %d Failed!
, HELLO_WORLD_SERVER_PORT);
exit(
1
);
}
// server_socket用于监听
if
(listen(server_socket, LENGTH_OF_LISTEN_QUEUE))
{
printf(Server Listen Failed!
);
exit(
1
);
}
// 服务器端一直运行用以持续为客户端提供服务
while
(
1
)
{
// 定义客户端的socket地址结构client_addr，当收到来自客户端的请求后，调用accept
// 接受此请求，同时将client端的地址和端口等信息写入client_addr中
struct sockaddr_in client_addr;
socklen_t length = sizeof(client_addr);
// 接受一个从client端到达server端的连接请求,将客户端的信息保存在client_addr中
// 如果没有连接请求，则一直等待直到有连接请求为止，这是accept函数的特性，可以
// 用select()来实现超时检测
// accpet返回一个新的socket,这个socket用来与此次连接到server的client进行通信
// 这里的new_server_socket代表了这个通信通道
int
new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length);
if
(new_server_socket <
0
)
{
printf(Server Accept Failed!
);
break
;
}
char
buffer[BUFFER_SIZE];
bzero(buffer, sizeof(buffer));
length = recv(new_server_socket, buffer, BUFFER_SIZE,
0
);
if
(length <
0
)
{
printf(Server Recieve Data Failed!
);
break
;
}
char
file_name[FILE_NAME_MAX_SIZE +
1
];
bzero(file_name, sizeof(file_name));
strncpy(file_name, buffer,
strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer));
FILE *fp = fopen(file_name, r);
if
(fp == NULL)
{
printf(File: %s Not Found!
, file_name);
}
else
{
bzero(buffer, BUFFER_SIZE);
int
file_block_length =
0
;
while
( (file_block_length = fread(buffer, sizeof(
char
), BUFFER_SIZE, fp)) >
0
)
{
printf(file_block_length = %d
, file_block_length);
// 发送buffer中的字符串到new_server_socket,实际上就是发送给客户端
if
(send(new_server_socket, buffer, file_block_length,
0
) <
0
)
{
printf(Send File: %s Failed!
, file_name);
break
;
}
bzero(buffer, sizeof(buffer));
}
fclose(fp);
printf(File: %s Transfer Finished!
, file_name);
}
close(new_server_socket);
}
close(server_socket);
return
0
;
} </string.h></stdlib.h></stdio.h></sys></sys></netinet>
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
|
//
// file_client.c socket传输文件的client端示例程序
// ///
#include<netinet in.h=
""
>
// for sockaddr_in
#include<sys types.h=
""
>
// for socket
#include<sys socket.h=
""
>
// for socket
#include<stdio.h>
// for printf
#include<stdlib.h>
// for exit
#include<string.h>
// for bzero
#define HELLO_WORLD_SERVER_PORT
6666
#define BUFFER_SIZE
1024
#define FILE_NAME_MAX_SIZE
512
int
main(
int
argc,
char
**argv)
{
if
(argc !=
2
)
{
printf(Usage: ./%s ServerIPAddress
, argv[
0
]);
exit(
1
);
}
// 设置一个socket地址结构client_addr, 代表客户机的internet地址和端口
struct sockaddr_in client_addr;
bzero(&client_addr, sizeof(client_addr));
client_addr.sin_family = AF_INET;
// internet协议族
client_addr.sin_addr.s_addr = htons(INADDR_ANY);
// INADDR_ANY表示自动获取本机地址
client_addr.sin_port = htons(
0
);
// auto allocated, 让系统自动分配一个空闲端口
// 创建用于internet的流协议(TCP)类型socket，用client_socket代表客户端socket
int
client_socket = socket(AF_INET, SOCK_STREAM,
0
);
if
(client_socket <
0
)
{
printf(Create Socket Failed!
);
exit(
1
);
}
// 把客户端的socket和客户端的socket地址结构绑定
if
(bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr)))
{
printf(Client Bind Port Failed!
);
exit(
1
);
}
// 设置一个socket地址结构server_addr,代表服务器的internet地址和端口
struct sockaddr_in server_addr;
bzero(&server_addr, sizeof(server_addr));
server_addr.sin_family = AF_INET;
// 服务器的IP地址来自程序的参数
if
(inet_aton(argv[
1
], &server_addr.sin_addr) ==
0
)
{
printf(Server IP Address Error!
);
exit(
1
);
}
server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT);
socklen_t server_addr_length = sizeof(server_addr);
// 向服务器发起连接请求，连接成功后client_socket代表客户端和服务器端的一个socket连接
if
(connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) <
0
)
{
printf(Can Not Connect To %s!
, argv[
1
]);
exit(
1
);
}
char
file_name[FILE_NAME_MAX_SIZE +
1
];
bzero(file_name, sizeof(file_name));
printf(Please Input File Name On Server. );
scanf(%s, file_name);
char
buffer[BUFFER_SIZE];
bzero(buffer, sizeof(buffer));
strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name));
// 向服务器发送buffer中的数据，此时buffer中存放的是客户端需要接收的文件的名字
send(client_socket, buffer, BUFFER_SIZE,
0
);
FILE *fp = fopen(file_name, w);
if
(fp == NULL)
{
printf(File: %s Can Not Open To Write!
, file_name);
exit(
1
);
}
// 从服务器端接收数据到buffer中
bzero(buffer, sizeof(buffer));
int
length =
0
;
while
(length = recv(client_socket, buffer, BUFFER_SIZE,
0
))
{
if
(length <
0
)
{
printf(Recieve Data From Server %s Failed!
, argv[
1
]);
break
;
}
int
write_length = fwrite(buffer, sizeof(
char
), length, fp);
if
(write_length < length)
{
printf(File: %s Write Failed!
, file_name);
break
;
}
bzero(buffer, BUFFER_SIZE);
}
printf(Recieve File: %s From Server[%s] Finished!
, file_name, argv[
1
]);
// 传输完毕，关闭socket
fclose(fp);
close(client_socket);
return
0
;
}
</string.h></stdlib.h></stdio.h></sys></sys></netinet>
|
2.使用现有的通讯中间件
2.1 ActiveMQ 传送文件接口
为了解决传输大文件的问题，ActiveMQ在jms规范之外引入了jms streams的概念。PTP模式下，连到同一个destination的两端，可以通过broker中转来传输大文件。
发送端使用connection.createOutputStream打开一个输出流，往流里写文件。
OutputStream out =connection.createOutputStream(destination);
接收端则简单的使用connection.createInputStream拿到一个输入流，从中读取文件数据即可。
|
1
|
InputStream in = connection.createInputStream(destination)
|
详见：https://activemq.apache.org/jms-streams.html
2.2 ZeroMQ 接口
ZeroMQ没有直接提供传送文件的接口。但ZeroMQ中send（void * data, size_t len）接口已经做好了封装，可以send任意大小的数据。代码如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
zmq::context_t ctx(
1
);
zmq::socket_t sock(ctx, ZMQ_REQ);
sock.connect(tcp:
//192.168.20.111:20310);
sock.send(pData,len);
//数据大小没有限制，可以直接发送任意大小的数据
char
reply[
100
];
sock.recv (reply,
100
);
sock.disconnect(addr);
|
接收端代码如下：
|
1
2
3
4
5
6
7
8
9
10
|
m_context =
new
zmq::context_t(
1
);
m_socket =
new
zmq::socket_t (*m_context, ZMQ_REP);
m_socket->bind (tcp:
//*:20310);
zmq::message_t request;
// Wait for next request from client
m_socket->recv (&request)
// request可以接受发送来的任意大小的数据
m_socket->send(ok,
2
);
|
是不是很简单呢？
3.基于共享文件、ftp、scp等
这就不细说了。要么就是写共享目录，要么就是调用系统命令。
4.总结
1)直接基于socket编程难度较高，所以不推荐。
2）使用现有的库方便，但需要学习。一般推荐。
3）共享文件、ftp、scp等难度低，简单易用，在符合使用场景时是首选。（但一些自命不凡的程序员或许会对你嗤之以鼻，考虑之...）
3175
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
