Fastdfs 分布式文件管理系统

最新推荐文章于 2024-07-25 15:50:18 发布

无情白

最新推荐文章于 2024-07-25 15:50:18 发布

阅读量319

点赞数 1

分类专栏： Fastdfs 文章标签： linux nginx java 负载均衡 fastdfs

本文链接：https://blog.csdn.net/m0_49929446/article/details/114630415

版权

Fastdfs 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Fastdfs 分布式文件管理系统

概念：
缺点：所有的问题文件全部存放在一台计算机中，如果这台计算机坏掉，那么会导致整个服务不可用，文件不能上传和下载，如果这台计算机磁盘损坏那么会丢失所有的文件，而且这台计算机的磁盘空间非常的有限，很容易达到磁盘的上限，导致无法上传文件

分布式文件系统：

优点：解决了传统方式的单点故障问题，如果某一个节点出现故障还有其它的节点可以用来读取和写入文件，可以提供数据的备份避免因为其它磁盘损坏导致的文件丢失，还可以提供库容的机制，无限的增加文件存放的空间上限。

Fastdfs 简介

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等，简单、灵活、高效、采用c语言开发，由阿里巴巴开发并开通。

Fastdfs 文件系统有两大部分组成：一个是客户端，一个是服务端

客户端通常指的是我们的程序，也就是我们的java 代码，Java代码去连接Fastdfs、操作Fastdfs ，Fastdfs 提供了专有的API访问。

服务端有两个部分组成：一个是跟踪器（tracker）一个是存储节点（storage）

跟踪器(tracker)主要做调度的工作：相当于是一个纽扣，比如文件的上传功能

1、client询问tracker上传到的storage，注意，它不需要附加参数

2、tracker返回一台可用的storage

3、client直接和storage通讯完成文件上传

存储节点(storage) 用于存储文件，包括文件和文件属性都保存到存储服务器磁盘上，完成文件管理的所有功能；文件存储，文件同步，文件访问等。

Fastdfs环境的搭建
yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel ubuntu 的差什么就装什么

说明	位置
所有安装包	/usr/local/src
数据存储位置	/home/dfs/
#这里我为了方便把日志什么的都放到了dfs

mkdir /home/dfs #创建数据存储目录
cd /usr/local/src #切换到安装目录准备下载安装包

安装libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install #编译安装

参考：https://github.com/happyfish100/fastdfs/wiki#%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2

安装FastDFS

cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#配置文件准备
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件，测试用
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用

安装fastdfs-nginx-module

cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

安装nginx

wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.4/
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ 
make && make install #编译安装

单机部署

tracker配置

#服务器ip为 192.168.52.1
#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122  # tracker服务器端口（默认22122,一般不修改）
base_path=/home/dfs  # 存储日志和数据的根目录

storage配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000  # storage服务端口（默认23000,一般不修改）
base_path=/home/dfs  # 数据和日志文件存储根目录
store_path0=/home/dfs  # 第一个存储目录
tracker_server=192.168.52.1:22122  # tracker服务器IP和端口
http.server_port=8888  # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/dfs
tracker_server=192.168.52.1:22122    #tracker服务器IP和端口
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

测试上传失败：

1.测试失败的话我们需要重启tracker和storage

2.依次在终端输入：
pkill -9 fdfs
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=192.168.52.1:22122  #tracker服务器IP和端口
url_have_group_name=true
store_path0=/home/dfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}
#测试下载，用外部浏览器访问刚才已传过的nginx安装包,引用返回的ID
http://172.18.3.94:8888/group1/M00/00/00/rBIDXl_0IIuAYDbiAAmOgczu2y4488.jpg
#弹出下载单机部署全部跑通

测试下载：

要想在浏览器上下载，我们需要配置nginx访问，需要安装fastdfs-nginx-module，和安装nginx 配置好以后即可访问。

http://172.18.3.94:8888/group1/M00/00/00/rBIDXl_0IIuAYDbiAAmOgczu2y4488.jpg

fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/rBIDXl_tjFaAMazxAAmOgczu2y4728.jpg

nginx 扩展模块的执行流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rRy6jYUb-1615345390941)(/home/pf/.config/Typora/typora-user-images/image-20210105194508872.png)]

集成fastdfs

1.导入依赖

<dependency>
	<groupId>FastDfs</groupId>
	<artifactId>classes</artifactId>
	<version>1.27</version>
</dependency>

如果下载不了我们就去官网把zip下载下来，解压。打成jar的形式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y8zS91Ln-1615345390964)(/home/pf/.config/Typora/typora-user-images/image-20201223213031423.png)].

参考：https://blog.csdn.net/dongdingzhuo/article/details/78731704#commentBox

导入jar包

<dependency>
    <groupId>org.apache</groupId>
    <artifactId>fastdfs-client</artifactId>
    <scope>system</scope>
    <version>1.0</version>
    <systemPath>${project.basedir}/src/main/resources/jar/fastdfs-client-java-1.29-SNAPSHOT.jar</systemPath>
</dependency>

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <version>3.8.1</version>
    <configuration>
        <source>1.8</source>
        <target>1.8</target>
        <encoding>UTF-8</encoding>
        <compilerArguments>
            <extdirs>${project.basedir}/src/main/resources/jar</extdirs>
        </compilerArguments>
    </configuration>
</plugin>

 <resources>
        <resource>
            <directory>${basedir}/src/main/resources</directory>
            <filtering>true</filtering>
            <includes>
                <include>**/*.txt</include>
            </includes>
        </resource>
        <resource>
            <directory>${basedir}/src/main/resources</directory>
            <targetPath>config/</targetPath>
            <includes>
                <include>**/*.xml</include>
            </includes>
        </resource>
        <resource>
            <directory>${basedir}/src/main/resources</directory>
            <filtering>true</filtering>
            <includes>
                <include>**/*.properties</include>
            </includes>
        </resource>
        <resource>
            <directory>${basedir}/src/main/resources</directory>
            <excludes>
                <exclude>**/*.properties</exclude>
            </excludes>
        </resource>
        <resource>
            <directory>${basedir}/src/main/resources</directory>
            <targetPath>BOOT-INF/lib/</targetPath>
            <includes>
                <include>**/*.jar</include>
            </includes>
        </resource>
    </resources>

</build>

配置nginx

修改nginx.conf配置

建议打开：user root;

worker_processes配置成CPU核心数的2倍；

配置日志文件存放目录：

access_log /home/zf/nginx/factoryTest/access.log;

error_log /home/zf/nginx/factoryTest/error.log;

http模块加入文件上传大小：client_max_body_size 100M;

如部署前端项目：gzip on可开启；

如需加入自定义配置文件：http模块配置include conf.d/*.conf;

2. 加入开机启动项

-添加开机启动服务

sudo vim /lib/systemd/system/nginx.service

-加入以下内容

[Unit]

Description=nginx service

After=network.target

[Service]

Type=forking

ExecStart=/usr/local/nginx/sbin/nginx

ExecReload=/usr/local/nginx/sbin/nginx -s reload

ExecStop=/usr/local/nginx/sbin/nginx -s quit

PrivateTmp=true

[Install]

WantedBy=multi-user.target

-设置开机启动

systemctl daemon-reload

systemctl enable nginx.service

3. 相关命令

-启动：systemctl start nginx

-停止：systemctl stop nginx

-查看服务状态：systemctl status nginx

-重启：systemctl restart nginx

报错： nginx 启动失败我们应该在usr/local/nginx下配置而不是在usr/local/src/naginx 下配置 src 一般放的是源码

FastDFS中fdfs_trackerd和fdfs_storaged的启动、重启、终止命令

启动：

sudo service fdfs_trackerd start
sudo service fdfs_storaged start
12

重启：

sudo /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
sudo /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
12

终止：

sudo /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
sudo /usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
12

注意点：
我们要是使用终止命令或者使用 kill -9 fdfs进程id 来终结fdfs_storaged服务的，然后用上面的启动命令是启动不了的，因为log日志问题，会出现下面的错误
在这里插入图片描述
一般在我们跟换ip地址的时候，重启fdfs服务，就使用重启命令就行。

无情白

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Fastdfs 分布式文件管理系统

Fastdfs 分布式文件管理系统概念：缺点：所有的问题文件全部存放在一台计算机中，如果这台计算机坏掉，那么会导致整个服务不可用，文件不能上传和下载，如果这台计算机磁盘损坏那么会丢失所有的文件，而且这台计算机的磁盘空间非常的有限，很容易达到磁盘的上限，导致无法上传文件分布式文件系统：优点：解决了传统方式的单点故障问题，如果某一个节点出现故障还有其它的节点可以用来读取和写入文件，可以提供数据的备份避免因为其它磁盘损坏导致的文件丢失，还可以提供库容的机制，无限的增加文件存放的空间上限。Fastd
复制链接

扫一扫

专栏目录