fastdfs

最新推荐文章于 2024-07-22 17:13:33 发布
最新推荐文章于 2024-07-22 17:13:33 发布
阅读量216 收藏
点赞数
文章标签： 运维 开发工具
原文链接：http://blog.51cto.com/14375700/2430540
版权

搭建环境准备：
Traker： 192.168.124.84
Storage： 192.168.124.155

nginx（及其依赖包）+fastDFS（及其依赖包）

#   在Traker上上传一系列包在/usr/local/src下

#  在Storage上上传一系列包到/usr/local/src下

一、在Tracker上配置
关闭防火墙
systemctl stop firewalld
setenforce 0

1.安装libfastcommon

#  进到/usr/local/src下
cd /usr/local/src

#  解压
tar zxvf libfastcommon-1.0.35.tar.gz -C /data/server

#  进到目标文件目录下
cd /data/server/libfastcommon-1.0.35/

#  编译安装

    *  ./make.sh

这里会显示报错
./make.sh: line 14: gcc: command not found
./make.sh: line 15: ./a.out: No such file or directory
cc -Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -g -O3 -c -o hash.o hash.c
make: cc: Command not found
make: *** [hash.o] Error 127

解决方法：
yum install -y gcc*（编译时需要gcc环境）

* ./make.sh

* ./make.sh install

#  添加环境变量
vim /etc/profile

    在末行添加
    export LD_LIBRARY_PATH=/usr/lib64/

#  使环境变量生效
source /etc/profile

#  创建软链接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

2.安装libevent

#  进到/usr/local/src目录下
cd /usr/local/src

#  解压
tar zxvf libevent-2.0.20-stable.tar.gz -C /data/server

#  进到目标文件目录
cd /data/server/libevent-2.0.20-stable

#  编译安装

    *  ./configure --prefix=/data/server

    *   make && make install

#创建软链接
ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5
ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5

3.安装tracker

#创建目录
mkdir -p /fdfs/tracker

#  进到 /usr/local/src目录下
cd /usr/local/src

#  解压
tar zxvf FastDFS_v5.08.tar.gz -C /data/server

#  进到目标文件目录
cd /data/server/FastDFS

#  编译安装

    *  ./make.sh

    *  ./make.sh install

4.配置文件
vim /data/server/FastDFS/conf/tracker.conf

修改如下内容
base_path=/fdfs/tracker   #设置tracker的数据文件和日志目录
max_connections=300      #最大连接数
work_threads=1            #工作线程数，最好和cpu核数相同

store_lookup=0              #0为轮询模式

http.server_port=8080     #设置http端口号

5.启动tracker
cd /data/server/FastDFS/tracker
fdfs_trackerd /data/server/FastDFS/conf/tracker.conf

6.查看是否启动成功
cat /fdfs/tracker/logs/trackerd.log

++++++++++++++++++++++++++++++++++++++++++++

以下内容在在操作完Storage的第1步到第18步之后再操作

7.创建缓存目录
mkdir -p /var/cache/nginx/proxy_cache

8.安装nginx及其插件

#  回到/usr/local/src下
cd /usr/local/src

#  解压这四个包
tar -zxvf nginx-1.11.5.tar.gz -C /data/server

tar zxvf fastdfs-nginx-module_v1.16.tar.gz -C /data/server

   tar zxvf pcre-8.34.tar.gz -C /data/server

tar zxvf zlib-1.2.8.tar.gz -C /data/server

#  进到nginx目标文件目录
cd /data/server/nginx-1.11.5/

#  编译安装

    *  ./configure --prefix=/data/server/nginx --add-module=/data/server/fastdfs-nginx-module/src/  --with-pcre=/data/server/pcre-8.34/ --with-zlib=/data/server/zlib-1.2.8

    *   make && make install

9.配置nginx文件
vim /data/server/nginx/conf/nginx.conf

添加补充下面内容
http {
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /data/server/nginx/logs/access.log main; #写自己的日志路径

sendfile on;
#tcp_nopush on;
keepalive_timeout 65;

gzip on; #注释去掉
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
proxy_cache_path /var/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g inactive=30d;
proxy_temp_path /var/cache/nginx/proxy_cache/tmp;

#设置head的服务器
upstream fdfs_head {
server 192.168.124.155:8080 fail_timeout=30s; # storage的ip
}

#设置other的服务器
upstream fdfs_other {
server 192.168.124.155:8080 fail_timeout=30s; # storage的ip
}

server {
listen 8888;
server_name localhost;

#设置head的负载均衡参数
location /head/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_head;
expires 30d;
}

#设置other的负载均衡参数
location /other/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_other;
expires 30d;
}

#此location模块要与server模块对齐
location ~ /purge(/.*) {
allow 127.0.0.1;
allow 192.168.124.0/24; #改成自己的网段
deny all;
proxy_cache_purge http-cache $1$is_args$args;
}

+++++++++++++++++++++++++++++++++++++++++

10.修改client.conf文件
vim /data/server/FastDFS/conf/client.conf

修改如下内容：
base_path=/fdfs/tracker                        #日志存放路径
tracker_server=192.168.124.84:22122
http.tracker_server_port=8080              #tracker服务器的http端口号

+++++++++++++++++++++++++++++++
去storage上操作第19步
+++++++++++++++++++++++++++++++

11.运行nginx
cd /data/server/nginx/sbin
./nginx

访问网页测试一下nginx是否搭好

12.上传图片

#  先上传一张图片到Moba上

#  fdfs_upload_file /data/server/FastDFS/conf/client.conf  /root/a.jpg    #  路径写全
   得到返回值
    head/M00/00/00/wKh8m11WVYOAQKRwAAGWPojC1gk461.jpg

#  在浏览器上访问
http://192.168.124.155:8080/head/M00/00/00/wKh8m11WVYOAQKRwAAGWPojC1gk461.jpg

#  再上传一个图片

#   fdfs_upload_file /data/server/FastDFS/conf/client.conf  /root/b.jpg    #  路径写全
   得到返回值
   other/M00/00/00/wKh8m11WVguAbtNMAAKFVWAT42o693.jpg

#  在浏览器上访问
http://192.168.124.155:8080/other/M00/00/00/wKh8m11WVguAbtNMAAKFVWAT42o693.jpg

#  再上传的时候就会  一个上传到head  一个上传到other

轮询模式实现

+++++++++++++++++++++++++++++++++++++++++
去storage上操作第30步（检测数据是否存储成功）
+++++++++++++++++++++++++++++++++++++++++

二、在Storage上配置
关闭防火墙
systemctl stop firewalld
setenforce 0

1.安装libfastcommon

#  进到/usr/local/src下
cd /usr/local/src

#  解压
tar zxvf libfastcommon-1.0.35.tar.gz -C /data/server

#  进到目标文件目录下
cd /data/server/libfastcommon-1.0.35/

#  编译安装

    *  ./make.sh

这里会显示报错
./make.sh: line 14: gcc: command not found
./make.sh: line 15: ./a.out: No such file or directory
cc -Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -g -O3 -c -o hash.o hash.c
make: cc: Command not found
make: *** [hash.o] Error 127

解决方法：
yum install -y gcc*（编译时需要gcc环境）

* ./make.sh

* ./make.sh install

#  添加环境变量
vim /etc/profile

    在末行添加
    export LD_LIBRARY_PATH=/usr/lib64/

#  使环境变量生效
source /etc/profile

#  创建软链接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

2.安装libevent

#  进到/usr/local/src目录下
cd /usr/local/src

#  解压
tar zxvf libevent-2.0.20-stable.tar.gz -C /data/server

#  进到目标文件目录
cd /data/server/libevent-2.0.20-stable

#  编译安装

    *  ./configure --prefix=/data/server

    *   make && make install

#创建软链接
ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5
ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5

3.安装storage

#  创建对应存储目录
mkdir -p /fdfs/tracker        #tracker目录
mkdir -p /fdfs/head/data   #存放头像文件
mkdir -p /fdfs/other/data   #存放其他文件
mkdir -p /fdfs/storage       #storage数据节点

#  解压
tar zxvf FastDFS_v5.08.tar.gz -C /data/server

#  进到目标文件目录
cd /data/server/FastDFS

#  编译安装

    *  ./make.sh

    *  ./make.sh install

4.配置文件
vim /data/server/FastDFS/conf/storage.conf

修改以下内容
disabled=false #启用配置文件
max_connections=300 #最大连接数
work_threads=1 #工作线程数，最好和cpu核数相同
group_name=head #组名,
port=23000 #设置storage的端口号
base_path=/fdfs/storage #设置storage的日志目录（事先创建好的那个）
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/fdfs/head #存储路径
tracker_server=192.168.124.84:22122 #tracker服务器的IP地址和端口号
http.server_port=8080 #设置http端口号

5.运行storage
cd /data/server/FastDFS/storage
fdfs_storaged /data/server/FastDFS/conf/storage.conf

6.确认是否运行成功
cat /fdfs/storage/logs/storaged.log

7.查看存储目录
cd /fdfs/head/data
ls

8.安装nginx及其插件

#  回到/usr/local/src下
cd /usr/local/src

#  解压这四个包
tar -zxvf nginx-1.11.5.tar.gz -C /data/server

tar zxvf fastdfs-nginx-module_v1.16.tar.gz -C /data/server

tar zxvf pcre-8.34.tar.gz -C /data/server

tar zxvf zlib-1.2.8.tar.gz -C /data/server

#  修改相关路径参数
vim /data/server/fastdfs-nginx-module/src/config

    在其中找到第4行，
    将这行
    CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
    改成
    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

#  进到nginx目标文件目录
cd /data/server/nginx-1.11.5/

#  编译安装

    *  ./configure --prefix=/data/server/nginx --add-module=/data/server/fastdfs-nginx-module/src/  --with-pcre=/data/server/pcre-8.34/ --with-zlib=/data/server/zlib-1.2.8

    *   make && make install

9.配置nginx文件
vim /data/server/nginx/conf/nginx.conf

添加修改
keepalive_timeout  60;        #keepalive超时时间
在server段中添加或者修改
listen       8080;                            #监听storage的http端口
server_name  192.168.31.129;    #storage的IP
location ~/head/M00 {                    #组head
   root /fdfs/head/data;
   ngx_fastdfs_module;
   }

location ~/other/M00 { #组other
root /fdfs/other/data;
ngx_fastdfs_module;
}

10.创建other组
cd /data/server/FastDFS/conf/
cp storage.conf storage_other.conf

11.配置storage other组
vim /data/server/FastDFS/conf/storage_other.conf

在其中修改
group_name=other
   port=23001
 store_path0=/fdfs/other

12.启动other的storage
cd /data/server/FastDFS/storage
fdfs_storaged /data/server/FastDFS/conf/storage_other.conf

13.查看存储状况
cd /fdfs/other/data
ls

14.配置相关文件
vim /data/server/fastdfs-nginx-module/src/mod_fastdfs.conf

修改
base_path=/fdfs/storage                              #保存日志目录
tracker_server=192.168.124.84:22122        #tracker的ip
url_have_group_name = true                      #文件url中是否有group名
group_name=group1                                   #把这行注释掉
group_count = 2                                          #设置组的个数
在末尾增加2个组的具体信息：
[group1]
group_name=head
storage_server_port=23000
store_path_count=1
store_path0=/fdfs/head
[group2]
group_name=other
storage_server_port=23001
store_path_count=1
store_path0=/fdfs/other

15.创建软链接
ln -s /fdfs/head/data /fdfs/head/data/M00
ln -s /fdfs/other/data /fdfs/other/data/M00

16.查看软链接
ll /fdfs/head/data/M00
ll /fdfs/other/data/M00

17.运行nginx
cd /data/server/nginx/sbin
./nginx

18.访问网页
在浏览器输入192.168.124.155:8080（storage的ip:8080）

会出现如下页面

在这里会出现无法访问页面的情况

解决方法：

#  查看错误日志
       cat /data/server/nginx/logs/error.log

我们会看到时这个报错
 ERROR - file: shared_func.c, line: 968, file /etc/fdfs/mod_fastdfs.conf not exist
ERROR - file: /data/server/fastdfs-nginx-module/src//common.c, line: 155, load conf file "/etc/fdfs/mod_fastdfs.conf" fail, ret code: 2

#  cd /data/server/FastDFS/conf
#  cp http.conf /etc/fdfs/
#  cp mime.types /etc/fdfs
#  cd /data/server/fastdfs-nginx-module/src
#  cp mod_fastdfs.conf /etc/fdfs/
#  cd /data/server/nginx/sbin
#  ./nginx -s reload

#  访问网页

++++++++++++++++++++++++++++++++++++++++++++++++
此时，去tracker上操作第7到第9步
++++++++++++++++++++++++++++++++++++++++++++++++

19.修改client.conf文件
vim /data/server/FastDFS/conf/client.conf

修改如下内容：
base_path=/fdfs/storage                        #日志存放路径
   tracker_server=192.168.124.84:22122
   http.tracker_server_port=8080              #tracker服务器的http端口号

++++++++++++++++++++++++
去tracker上操作第11到第12步
++++++++++++++++++++++++

20.检测
cd /fdfs/head/data/00/00
ls

cd /fdfs/other/data/00/00
ls

bateng6464
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Fastdfs
weixin_45936641的博客
01-21 141
Fastdfs 定位： 分布式 环境： 主机 ip 客户端 192.168.10.10 tracher1 192.168.10.20 tracher2 192.168.10.30 group1-1 192.168.10.40 group1-2 192.168.10.50 group2-1 192.168.10.60 group2-2 192.168.10.70 安装fastdfs 所有主机都要安装 [root@localhost ~]# yum -y insta
FastDFS
bjgaocp的博客
03-14 5017
FastDFS介绍 FastDFS的开发者——淘宝的架构师余庆老师 FastDFS开源地址：https://github.com/happyfish100 fastdfs是什么？ FastDFS是一个开源的轻量级分布式文件系统 FastDFS 不是通用的文件系统，只能通过装有API访问，追求高性能，高扩展性 能做什么？ 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决...
FastDFS分布式存储
最新发布
henanxiaoman的博客
07-22 1214
FastDFS是一个开源的轻量级分布式文件系统，纯C实现，目前提供了C、Java和PHP API。功能包括：文件存储，文件同步，文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。Fast DFS系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
FastDFS+nginx+php的完整应用
weixin_34150224的博客
08-09 203
FastDFS+nginx+php的完整应用FastDFS功能简介： FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。主页地址：http://code.google.com/p/fastdfs/ ...
fastdfs-nginx-module-1.24
02-07
《FastDFS-Nginx-Module 1.24：高效文件服务器集成详解》 FastDFS-nginx-module 1.24 是一个针对 FastDFS 文件系统的 Nginx 模块，它使得 Nginx 可以无缝地与 FastDFS 集成，提供了高效的文件上传、下载服务。这一...
fastdfs安装包（fastdfs-6.06，fastdfs-nginx-module-1.22，nginx-1.16.1）
05-20
《搭建FastDFS分布式文件系统详解》 FastDFS是一款开源的高性能、轻量级的分布式文件系统，它对文件进行管理，包括文件存储、文件同步、文件访问（文件上传、文件下载）等功能，解决了大容量存储和负载均衡的问题。...
FastDFS分布式文件系统 v6.12.0.zip
03-21
《FastDFS分布式文件系统详解与应用》 FastDFS是一款开源的高性能、轻量级的分布式文件系统，由国人开发，专为互联网应用设计，尤其适用于存储海量小文件。FastDFS的最新版本为v6.12.0，该版本在前作的基础上进行了...
Fastdfs 添加分组1
08-08
Fastdfs 是一款开源的、高性能的分布式文件系统，主要用于解决大量小文件的存储问题。在 Fastdfs 中，分组（Group）是文件存储的基本单元，它由若干个 Storage 节点组成，提供了数据冗余备份，确保了数据的安全性。...
fastdfs-nginx-module_v1.16.tar.gz源码包，nginx支
06-22
标题中的"fastdfs-nginx-module_v1.16.tar.gz"是一个开源项目，它是一个用于Nginx服务器的模块，旨在使Nginx能够与FastDFS文件存储系统无缝集成。FastDFS是一个轻量级的开源分布式文件系统，适用于互联网和企业内部...
fastDFS
qq_43226684的博客
11-18 992
fastdfs安装部署、迁移、数据同步
FastDFS介绍和配置过程
weixin_34318956的博客
07-31 103
由于网站使用nfs共享方式保存用户上传的图片，附件等资料，然后通过apache下载的方式供用户访问，在网站架构初期，使用这种简单的方式实现了静态资源的读写分离，但随着网站数据量的增加，图片服务器渐渐成为整个网站的短板，缘次催生了使用fastfds的想法，故而先进行一番简单的测试！在开始之前还是先来看看fastfds的介绍信息： ...
详述安装FastDFS步骤
“本文详细介绍了如何在Linux环境下安装和配置FastDFS分布式文件系统，包括依赖库的安装、FastDFS核心组件的下载与编译、配置文件的编辑以及服务的启动。” FastDFS是一个开源的高性能、轻量级的分布式文件系统，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值