FastDFS+Nginx实现文件服务器

转载 2018年04月15日 10:12:49
  1. FastDFS+Nginx实现文件服务器

    1. 架构

  1. 架构图







    1. FastDFS--tracker安装

192.168.101.3上安装tracker


  1. 下载

trackerstorage使用相同的安装包,下载地址:http://sourceforge.net/projects/FastDFS/https://github.com/happyfish100/FastDFS(推荐)


本教程下载:FastDFS_v5.05.tar.gz


    1. FastDFS安装环境

FastDFSC语言开发,建议在linux上运行,本教程使用Centos6.4作为安装环境。

安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gccyuminstall gcc-c++



    1. 安装libevent

FastDFS依赖libevent库,需要安装:

yum-y install libevent


    1. 安装libfastcommon

libfastcommonFastDFS官方提供的,libfastcommon包含了FastDFS运行所需要的一些基础库。

libfastcommonV1.0.7.tar.gz拷贝至/usr/local/

cd/usr/local

tar-zxvf libfastcommonV1.0.7.tar.gz

cdlibfastcommon-1.0.7

./make.sh

./make.shinstall


注意:libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下,由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。

要拷贝的文件如下:


    1. tracker编译安装

FastDFS_v5.05.tar.gz拷贝至/usr/local/

tar-zxvf FastDFS_v5.05.tar.gz


cdFastDFS


./make.sh

./make.sh install


安装成功将安装目录下的conf下的文件拷贝到/etc/fdfs/下。


    1. 配置

安装成功后进入/etc/fdfs目录:


拷贝一份新的tracker配置文件:

cp tracker.conf.sampletracker.conf


修改tracker.conf

vi tracker.conf

base_path=/home/yuqing/FastDFS

改为:

base_path=/home/FastDFS



    1. 启动

/usr/bin/fdfs_trackerd/etc/fdfs/tracker.conf restart

启动的日志显示先停止5619进程(实际环境不是5619)再启动,如下图:

注意:如果没有显示上图要注意是否正常停止原有进程。


  • 设置开机自动启动。


[root@trackerFastDFS]# vim/etc/rc.d/rc.local


将运行命令行添加进文件:/usr/bin/fdfs_trackerd/etc/fdfs/tracker.conf restart



    1. FastDFS--storage安装

192.168.101.3上安装storage


  1. 安装libevent

tracker安装

    1. 安装libfastcommon

tracker安装。


    1. storage编译安装

tracker编译安装。


    1. 配置

安装成功后进入/etc/fdfs目录:

拷贝一份新的storage配置文件:

cp storage.conf.samplestorage.conf


修改storage.conf

vistorage.conf

group_name=group1

base_path=/home/yuqing/FastDFS改为:base_path=/home/FastDFS

store_path0=/home/yuqing/FastDFS改为:store_path0=/home/FastDFS/fdfs_storage

#如果有多个挂载磁盘则定义多个store_path,如下

#store_path1=.....

#store_path2=......
tracker_server=192.168.101.3:22122 #
配置tracker服务器:IP

#如果有多个则配置多个tracker

tracker_server=192.168.101.4:22122


    1. 启动

/usr/bin/fdfs_storaged/etc/fdfs/storage.conf restart

启动的日志显示先停止8931进程(实际环境不是8931)再启动,如下图:

注意:如果没有显示上图要注意是否正常停止原有进程。

  • 设置开机自动启动。


[root@storage1FastDFS]# vim/etc/rc.d/rc.local


将运行命令行添加进文件:/usr/bin/fdfs_storaged/etc/fdfs/storage.conf restart


    1. 上传图片测试

      1. 通过fdfs_test程序

FastDFS安装成功可通过/usr/bin/fdfs_test测试上传、下载等操作。


修改/etc/fdfs/client.conf


base_path=/home/fastdfs

tracker_server=192.168.101.3:22122


使用格式:

/usr/bin/fdfs_test客户端配置文件地址 upload 上传文件


比如将/home下的图片上传到FastDFS中:

/usr/bin/fdfs_test/etc/fdfs/client.conf upload /home/tomcat.png


http://192.168.101.3/group1/M00/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png就是文件的下载路径。

对应storage服务器上的

/home/fastdfs/fdfs_storage/data/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png文件。


由于现在还没有和nginx整合无法使用http下载。



    1. 通过javaClient API

完整的测试方法参考测试源代码。


publicclassFastdfsClientTest {

//客户端配置文件

publicString conf_filename="F:\\workspace_indigo\\fastdfsClient\\src\\cn\\itcast\\fastdfs\\cliennt\\fdfs_client.conf";

//本地文件,要上传的文件

publicString local_filename= "F:\\develop\\upload\\linshiyaopinxinxi_20140423193847.xlsx";


//上传文件

@Test

publicvoidtestUpload() {

for(inti=0;i<100;i++){


try{

ClientGlobal.init(conf_filename);


TrackerClienttracker = newTrackerClient();

TrackerServertrackerServer = tracker.getConnection();

StorageServerstorageServer = null;


StorageClientstorageClient = newStorageClient(trackerServer,

storageServer);

NameValuePairnvp [] = newNameValuePair[]{

newNameValuePair("item_id","100010"),

newNameValuePair("width","80"),

newNameValuePair("height","90")

};

StringfileIds[] = storageClient.upload_file(local_filename,null,

nvp);


System.out.println(fileIds.length);

System.out.println("组名:"+ fileIds[0]);

System.out.println("路径:"+ fileIds[1]);


}catch(FileNotFoundException e) {

e.printStackTrace();

}catch(IOException e) {

e.printStackTrace();

}catch(Exception e) {

e.printStackTrace();

}

}

}


}



    1. FastDFSnginx整合

      1. tracker上安装nginx

nginx的安装细节参考nginx文档。


在每个tracker上安装nginx的主要目的是做负载均衡及实现高可用。如果只有一台tracker服务器可以不配置nginx

    1. Storage上安装nginx

      1. FastDFS-nginx-module

FastDFS-nginx-module_v1.16.tar.gz传至/usr/local/

cd/usr/local

tar-zxvf FastDFS-nginx-module_v1.16.tar.gz

cdFastDFS-nginx-module/src

修改config文件将/usr/local/路径改为/usr/



FastDFS-nginx-module/src下的mod_FastDFS.conf拷贝至/etc/fdfs/

cpmod_FastDFS.conf /etc/fdfs/


并修改mod_FastDFS.conf的内容:

vi/etc/fdfs/mod_FastDFS.conf

base_path=/home/FastDFS

tracker_server=192.168.101.3:22122

#tracker_server=192.168.101.4:22122(多个tracker配置多行

url_have_group_name=true #url中包含group名称

store_path0=/home/FastDFS/fdfs_storage #指定文件存储路径


libfdfsclient.so拷贝至/usr/lib

cp/usr/lib64/libfdfsclient.so /usr/lib/



创建nginx/client目录

mkdir-p /var/temp/nginx/client

    1. nginx安装


添加FastDFS-nginx-module模块


./configure \

--prefix=/usr/local/nginx\

--pid-path=/var/run/nginx/nginx.pid\

--lock-path=/var/lock/nginx.lock\

--error-log-path=/var/log/nginx/error.log\

--http-log-path=/var/log/nginx/access.log\

--with-http_gzip_static_module\

--http-client-body-temp-path=/var/temp/nginx/client\

--http-proxy-temp-path=/var/temp/nginx/proxy\

--http-fastcgi-temp-path=/var/temp/nginx/fastcgi\

--http-uwsgi-temp-path=/var/temp/nginx/uwsgi\

--http-scgi-temp-path=/var/temp/nginx/scgi\

--add-module=/root/fastdfs-nginx-module/src



make

makeinstall

    1. nginx配置文件

新建一个nginx配置文件nginx-fdfs.conf.



添加server:


server {

listen 80;

server_name 192.168.101.3;


location/group1/M00/{

#root/home/FastDFS/fdfs_storage/data;

ngx_fastdfs_module;

}

}


说明:

server_name指定本机ip

location/group1/M00/group1nginx服务FastDFS的分组名称,M00FastDFS自动生成编号,对应store_path0=/home/FastDFS/fdfs_storage,如果FastDFS定义store_path1,这里就是M01




    1. 测试

通过java客户端上传文件,使用浏览器访问,比如访问上传图片测试的文件:


访问storage

http://192.168.101.3/group1/M00/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png



  1. 附录

    1. tracker.conf


1基本配置

disable

#func:配置是否生效

#valutruefalse

disable=false

bind_addr

#func:绑定IP

#valuIP地址

bind_addr=192.168.6.102

port

#func:服务端口

#valu:端口整数值

port=22122

connect_timeout

#func:连接超时

#valu:秒单位正整数值

connect_timeout=30

network_timeout

#func:网络超时

#valu:秒单位正整数值

network_timeout=60

base_path

#funcTracker数据/日志目录地址

#valu:路径

base_path=/home/michael/fdfs/base4tracker

max_connections

#func:最大连接数

#valu:正整数值

max_connections=256

work_threads

#func:线程数,通常设置CPU

#valu:正整数值

work_threads=4

store_lookup

#func:上传文件的选组方式。

#valu012

#0:表示轮询

#1:表示指定组

#2:表示存储负载均衡(选择剩余空间最大的组)

store_lookup=2

store_group

#func:指定上传的组,如果在应用层指定了具体的组,那么这个参数将不会起效。另外如果store_lookup如果是02,则此参数无效。

#valugroup1

store_group=group1

store_server

#func:上传服务器的选择方式。(一个文件被上传后,这个storageserver就相当于这个文件的storageserver源,会对同组的storageserver推送这个文件达到同步效果)

#valu012

#0: 轮询方式(默认)

#1: 根据ip地址进行排序选择第一个服务器(IP地址最小者)

#2: 根据优先级进行排序(上传优先级由storageserver来设置,参数名为upload_priority),优先级值越小优先级越高。

store_server=0

store_path

#func:上传路径的选择方式。storageserver可以有多个存放文件的basepath(可以理解为多个磁盘)。

#valu

#0: 轮流方式,多个目录依次存放文件

#2: 存储负载均衡。选择剩余空间最大的目录存放文件(注意:剩余磁盘空间是动态的,因此存储到的目录或磁盘可能也是变化的)

store_path=0

download_server

#func:下载服务器的选择方式。

#valu

#0:轮询(默认)

#1IP最小者

#2:优先级排序(值最小的,优先级最高。)

download_server=0

reserved_storage_space

#func:保留空间值。如果某个组中的某个服务器的剩余自由空间小于设定值,则文件不会被上传到这个组。

#valu

#G or g for gigabyte

#M or m for megabyte

#K or k for kilobyte

reserved_storage_space=1GB

log_level

#func:日志级别

#valu

#emerg for emergency

#alert

#crit for critical

#error

#warn for warning

#notice

#info for information

#debug for debugging

log_level=info

run_by_group/ run_by_user

#func:指定运行该程序的用户组

#valu:用户组名或空

run_by_group=


#func

#valu

run_by_user=

allow_hosts

#func:可以连接到trackerserverip范围。可设定多个值。

#valu

allow_hosts=

check_active_interval

#func:检测storage server存活的时间隔,单位为秒。

# storage server定期向trackerserver 发心跳,

# 如果trackerserver在一个check_active_interval内还没有收到storageserver的一次心跳,

# 那边将认为该storageserver已经下线。所以本参数值必须大于storageserver配置的心跳时间间隔。

# 通常配置为storageserver心跳时间间隔的2倍或3倍。

check_active_interval=120

thread_stack_size

#func:设定线程栈的大小。线程栈越大,一个线程占用的系统资源就越多。

# 如果要启动更多的线程(V1.x对应的参数为max_connectionsV2.0work_threads),可以适当降低本参数值。

#valu:如64KB,默认值为64trackerserver线程栈不应小于64KB

thread_stack_size=64KB

storage_ip_changed_auto_adjust

#func:这个参数控制当storageserver IP地址改变时,集群是否自动调整。注:只有在storageserver进程重启时才完成自动调整。

#valutruefalse

storage_ip_changed_auto_adjust=true

2同步

storage_sync_file_max_delay

#func:同组storage服务器之间同步的最大延迟时间。存储服务器之间同步文件的最大延迟时间,根据实际情况进行调整

#valu:秒为单位,默认值为1天(24*3600

#sincv2.0

storage_sync_file_max_delay=86400

storage_sync_file_max_time

#func:存储服务器同步一个文件需要消耗的最大时间,缺省为300s,即5分钟。

#sincv2.0

storage_sync_file_max_time=300

sync_log_buff_interval

#func:同步或刷新日志信息到硬盘的时间间隔。注意:trackerserver 的日志不是时时写硬盘的,而是先写内存。

#valu:以秒为单位

sync_log_buff_interval=10

3trunk slot

#func:是否使用trunk文件来存储几个小文件

#valutruefalse

#sincv3.0

use_trunk_file=false


#func:最小slot大小

#valu<=4KB,默认为256字节

#sincv3.0

slot_min_size=256


#func:最大slot大小

#valu>=slot_min_size,当小于这个值的时候就存储到trunkfile中。默认为16MB

#sincv3.0

slot_max_size=16MB


#functrunkfilesize

#valu>=4MB,默认为64MB

#sincv3.0

trunk_file_size=64MB

4HTTP 相关

是否启用HTTP

#funcHTTP是否生效

#valutruefalse

http.disabled=false

HTTP服务器端口号

#functrackerserver上的httpport

#valu

#note:只有http.disabled=false时才生效

http.server_port=7271

检查Storage存活状态的间隔时间(心跳检测)

#func:检查storagehttp server存活的间隔时间

#valu:单位为秒

#note:只有http.disabled=false时才生效

http.check_alive_interval=30

心跳检测使用的协议方式

#func:检查storagehttp server存活的方式

#valu

#tcp:连接到storageserverhttp端口,不进行requestresponse

#httpstoragecheck alive url must return http status 200.

#note:只有http.disabled=false时才生效

http.check_alive_type=tcp

检查Storage 状态的URI

#func:检查storagehttp server是否aliveuri/url

#note:只有http.disabled=false时才生效

http.check_alive_uri=/status.html

Fastdfs实战讲解

FastDFS是阿里公司推出的一款免费的文件管理系统,利用FastDFS可以有效的实现二进制资源文件的保存。同时利用此组件也可以轻松实现数据存储的扩充以及冗余备份机制。官方QQ群:612148723。
  • 2017年01月01日 20:30

FastDFS+nginx

  • 2015年09月01日 17:20
  • 25KB
  • 下载

Linux安装FastDFS+Nginx文件服务器

环境准备安装gccFastDFS是C语言开发,建议在linux上运行,文档中使用Centos6.5作为安装环境。安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境;所以需要安装gcc...
  • weixin_39528789
  • weixin_39528789
  • 2018-04-11 15:51:20
  • 27

Keepalived+Nginx+FastDFS实现最简单的文件服务器的高可用

我们用四台服务器做测试,IP分别为 虚拟IP(VIP):192.168.1.210 tracker1:192.168.1.211 tracker2:192.168.1.212 storage1...
  • goodmylove
  • goodmylove
  • 2017-10-09 15:34:56
  • 1043

轻量级文件服务器Fdfs搭建(fastDFS+nginx)

  • 2018年04月17日 11:39
  • 974KB
  • 下载

Nginx安装-让文件服务器fastdfs提供有web方式的上传下载功能

  • 2017年10月09日 18:45
  • 3.49MB
  • 下载

ubuntu下FastDFS+Nginx部署

  • 2015年06月25日 09:48
  • 464KB
  • 下载

Node.js开发入门—HTTP文件服务器

HelloWorld示例只有演示意义,这次我们来搞一个实际的例子:文件服务器。我们使用Node.js创建一个HTTP协议的文件服务器,你可以使用浏览器或其它下载工具到文件服务器上下载文件。...
  • foruok
  • foruok
  • 2015-08-06 06:36:45
  • 7892

记录FastDFS+Nginx 安装与配置过程

记录 FastDFS+Nginx 安装与配置过程
  • A5878989
  • A5878989
  • 2017-11-05 19:06:18
  • 163

fastDFS+nginx

  • jinduozhao
  • jinduozhao
  • 2017-07-21 23:16:08
  • 59
收藏助手
不良信息举报
您举报文章:FastDFS+Nginx实现文件服务器
举报原因:
原因补充:

(最多只允许输入30个字)