使用Nginx代理S3时，需要禁用URL解码。

为什么80%的码农都做不了架构师？>>>   

问题来源

• 使用Nginx代理S3时，无法创建新文件（读取和删除正常）。

用fuse挂载s3

1. 使用 s3fs (V1.79) 挂载

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://s3.biliops.com

无法新建文件

1. 错误日志 /var/log/radosgw/radosgw-node-6.log http-403：

7fe690eba7c0  0 ceph version 9.2.0 (bb2ecea240f3a1d525bcb35670cb07bd1f0ca299), process radosgw, pid 2332333
7fe690eba7c0  0 framework: civetweb
7fe690eba7c0  0 framework conf key: port, val: 2333
7fe690eba7c0  0 starting handler: civetweb
7fe60adfb700  1 civetweb: 0x7fe5f80008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name HTTP/1.0" 404 0 - -
7fe609df9700  1 civetweb: 0x7fe5ec0008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name/ HTTP/1.0" 404 0 - -
7fe60a5fa700  1 civetweb: 0x7fe5f00008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name_$folder$ HTTP/1.0" 403 0 - -

问题跟踪

1. 为提高存储可用性，在civetweb提供的服务前加了一层Nginx。
2. 后端upsteam到多台civetweb节点。
3. ceph对应的radosgw配置 /etc/ceph/ceph.conf ：

[client.rgw.node-6]
  host = node-6
  keyring = /var/lib/ceph/radosgw/ceph-rgw.node-6/keyring
  rgw socket path = /tmp/radosgw-node-6.sock
  log file = /var/log/radosgw/radosgw-node-6.log
  rgw data = /var/lib/ceph/radosgw/ceph-rgw.node-6
  rgw print continue = false
  rgw frontends = civetweb port=2333

1. 然而，直接挂载 civetweb 却能正常使用

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://node-6.biliops.com:2333

定位问题

• 使用 tcpflow 抓包，对比 Nginx 代理前后请求内容的区别，发现：

1. 使用Civetweb时，新建文件时有个URI是 HEAD /ceph-s3/name_%24folder%24 ；
2. 使用Nginx代理后，对应的URI变成了 HEAD /ceph-s3/name_$folder$ 。

验证和解决

• 居然是Nginx在proxy_pass阶段对URI进行了解码，导致S3协议出错！

验证方法

1. Nginx配置 /etc/nginx/sites-enabled/01-proxypass.biliops.com，关键部分：

server {
	listen       80 backlog=65535;
	server_name  proxypass.biliops.com;
	location / {
		proxy_ignore_client_abort on;
		proxy_set_header Host echo.biliops.com;
		proxy_redirect off;
		proxy_http_version 1.1;
		proxy_set_header Connection "keep-alive";
		proxy_pass $schema://127.0.0.1:80/;
	}
}
server {
	listen       80;
	server_name  echo.biliops.com;
	location / {
		add_header request $request;
	}
}

1. 参考 s3fs 的请求 curl -I proxypass.biliops.com/name_%24folder%24；
2. 配置 proxy_pass http://127.0.0.1:80/; 时，访问结果是：

request: HEAD /name_$folder$ HTTP/1.1

1. 配置 proxy_pass http://127.0.0.1:80$1; 时，访问结果是：

request: HEAD /name_%24folder%24 HTTP/1.1

解决办法

1. / 和 $1 的区别明白后，按需使用即可。
2. 本例需要的是原始uri，则使用$1来转发。
3. 若需要Nginx帮转码，可使用/全全代理。

转载于:https://my.oschina.net/anglix/blog/602665