Java网络商城项目 SpringBoot+SpringCloud+Vue 网络商城(SSM前后端分离项目)八(文件的上传FastDFS和校验

总结

三个工作日收到了offer,头条面试体验还是很棒的,这次的头条面试好像每面技术都问了我算法,然后就是中间件、MySQL、Redis、Kafka、网络等等。

  • 第一个是算法

关于算法,我觉得最好的是刷题,作死的刷的,多做多练习,加上自己的理解,还是比较容易拿下的。

而且,我貌似是将《算法刷题LeetCode中文版》、《算法的乐趣》大概都过了一遍,尤其是这本

《算法刷题LeetCode中文版》总共有15个章节:编程技巧、线性表、字符串、栈和队列、树、排序、查找、暴力枚举法、广度优先搜索、深度优先搜索、分治法、贪心法、动态规划、图、细节实现题

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

《算法的乐趣》共有23个章节:

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

  • 第二个是Redis、MySQL、kafka(给大家看下我都有哪些复习笔记)

基本上都是面试真题解析、笔记和学习大纲图,感觉复习也就需要这些吧(个人意见)

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

  • 第三个是网络(给大家看一本我之前得到的《JAVA核心知识整理》包括30个章节分类,这本283页的JAVA核心知识整理还是很不错的,一次性总结了30个分享的大知识点)

最新出炉,头条三面技术四面HR,看我如何一步一步攻克面试官?

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

10、FastDFS(完善文件上传的保存功能以及显示图片)

(1)什么是分布式文件系统

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。

通俗来讲;

  • 传统文件系统管理的文件就存储在本机。

  • 分布式文件系统管理的文件存储在很多机器,这些机器通过网络连接,要被统一管理。无论是上传或者访问文

件,都需要通过管理中心来访问

(2)什么是FastDFS

FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯c语言开发,功能丰富:

  • 文件存储

  • 文件同步

  • 文件访问(上传、下载)

  • 存取负载均衡

  • 在线扩容

适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS (Hadoop)、TFS(淘宝〉等。

(3)FastDFS的结构

在这里插入图片描述

FastDFS两个主要的角色:Tracker Server和Storage Server .

  • Tracker Server:跟踪服务器,主要负责调度storage节点与client通信,在访问上起负载均衡的作用,和记录storage节点的运行状态,是连接client和storage节点的枢纽。

  • Storage Server:存储服务器,保存文件和文件的meta data (元数据),每个storage server会启动一个单独的线程主动向Tracker cluster中每个tracker server报告其状态信息,包括磁盘使用情况,文件同步情况及文件上传下载次数统计等信息

  • Group:文件组,多台Storage Server的集群。上传一个文件到同组内的一台机器上后,FastDFs会将该文件即时同步到同组内的其它所有机器上,起到备份的作用。不同组的服务器,保存的数据不同,而且相互独立,不进行通信。

  • Tracker Cluster:跟踪服务器的集群,有一组Tracker Server(跟踪服务器)组成。

  • Storage Cluster :存储集群,有多个Group组成。

(4)上传和下载的流程

在这里插入图片描述

最小化部署图

在这里插入图片描述

文件上传原理:

1.Client通过Tracker server查找可用的Storage server。

2.Tracker server向client返回一台可用的Storage server的IP地址和端口号。

3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。

4.上传完成,Storage server返回Client一个文件ID,文件上传结束。

文件下载原理:

1.Client通过Tracker server查找要下载文件所在的的Storage server。

2. Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。

3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。4.下载文件成功。

(5)安装和使用(Centos下安装FastDFS)
1)上传

将以下内容上传到linux下的/home/leyou/fdfs目录:

https://download.csdn.net/download/qq_44757034/20901739

在这里插入图片描述

在这里插入图片描述

2)安装依赖

FastDFS运行需要一些依赖,在课前资料提供的虚拟中已经安装好了这些依赖,如果大家想要从头学习,可以按下面方式安装:

a、安装GCC依赖

GCC用来对C语言代码进行编译运行,使用yum命令安装:

GCC用来对C语言代码进行编译运行,使用yum命令安装:

sudo yum -y install gcc

b、 安装unzip工具

unzip工具可以帮我们对压缩包进行解压

sudo yum install -y unzip zip

在这里插入图片描述

c、 安装libevent

sudo yum -y install libevent

在这里插入图片描述

d、 安装Nginx所需依赖

sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

在这里插入图片描述

d、 安装libfastcommon-master

这个没有yum包,只能通过编译安装:

  • 解压刚刚上传的libfastcommon-master.zip

unzip libfastcommon-master.zip

在这里插入图片描述

  • 进入解压完成的目录:

cd libfastcommon-master

  • 编译并且安装:

sudo ./make.sh

sudo ./make.sh install

在这里插入图片描述

在这里插入图片描述

到这里为止,所有依赖都已经安装完毕,接下来我们安装FastDFS:

3)安装FastDFS
a、 编译安装

这里我们也采用编译安装,步骤与刚才的编译安装方式一样:

发回上一级别目录

cd …/

  • 解压

tar -xvf FastDFS_v5.08.tar.gz

在这里插入图片描述

  • 进入目录

cd FastDFS

  • 编译并安装

sudo ./make.sh

sudo ./make.sh install

在这里插入图片描述

在这里插入图片描述

  • 校验安装结果

1)安装完成,我们应该能在/etc/init.d/目录,通过命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的启动脚本:

在这里插入图片描述

在这里插入图片描述

2)我们可以在 /etc/fdfs目录,通过命令查看到以下配置文件模板:

在这里插入图片描述

其中:

  • tarcker.conf.sample 是tracker的配置文件模板

  • storage.conf.sample 是storage的配置文件模板

  • client.conf.sample 是客户端的配置文件模板

b、 启动tracker

FastDFS的tracker和storage在刚刚的安装过程中,都已经被安装了,因此我们安装这两种角色的方式是一样的。不同的是,两种需要不同的配置文件。

我们要启动tracker,就修改刚刚看到的tarcker.conf,并且启动fdfs_trackerd脚本即可。

  • 编辑tracker配置

首先我们将模板文件进行赋值和重命名:

sudo cp tracker.conf.sample tracker.conf

sudo vim tracker.conf

打开tracker.conf,修改base_path配置:

base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录

在这里插入图片描述

  • 创建目录

刚刚配置的目录可能不存在,我们创建出来

sudo mkdir -p /leyou/fdfs/tracker

在这里插入图片描述

  • 启动tracker

我们可以使用 sh /etc/init.d/fdfs_trackerd 启动,不过安装过程中,fdfs已经被设置为系统服务,我们可以采用熟悉的服务启动方式:

sudo service fdfs_trackerd start # 启动fdfs_trackerd服务,停止用stop

在这里插入图片描述

另外,我们可以通过以下命令,设置tracker开机启动:

sudo chkconfig fdfs_trackerd on

在这里插入图片描述

c、启动storage

我们要启动tracker,就修改刚刚看到的tarcker.conf,并且启动fdfs_trackerd脚本即可。

  • 编辑storage配置

首先我们将模板文件进行赋值和重命名:

sudo cp storage.conf.sample storage.conf

sudo vim storage.conf

打开storage.conf,修改base_path配置:

base_path=/leyou/fdfs/storage # storage的数据和日志存放目录

store_path0=/leyou/fdfs/storage # storage的上传文件存放路径

tracker_server=192.168.56.101:22122 # tracker的地址

  • 创建目录

刚刚配置的目录可能不存在,我们创建出来

sudo mkdir -p /leyou/fdfs/storage

  • 启动storage

我们可以使用 sh /etc/init.d/fdfs_storaged 启动,同样我们可以用服务启动方式:

sudo service fdfs_storaged start # 启动fdfs_storaged服务,停止用stop

另外,我们可以通过以下命令,设置tracker开机启动:

sudo chkconfig fdfs_storaged on

最后,通过ps -ef | grep fdfs 查看进程:

在这里插入图片描述

测试上传

将一张图片上传到/var/333.png

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /var/333.png

得到返回数据:group1/M00/00/00/rBEACmEPpcyAcBNZAAFkkXlaVjk629.png

4)安装Nginx及FastDFS模块
a、 FastDFS的Nginx模块

切换到

cd /home/leyou/fdfs

  • 解压

tar -xvf fastdfs-nginx-module_v1.16.tar.gz

在这里插入图片描述

  • 配置config文件

进入配置目录

cd /home/leyou/fdfs/fastdfs-nginx-module/src/

修改配置

vim config

执行下面命令(将配置中的/usr/local改为/usr):

:%s+/usr/local/+/usr/+g

保存退出

在这里插入图片描述

  • 配置mod_fastdfs.conf

将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录:

sudo cp mod_fastdfs.conf /etc/fdfs/

编辑该文件

sudo vim /etc/fdfs/mod_fastdfs.conf

  • 修改一下配置:

connect_timeout=10 # 客户端访问文件连接超时时长(单位:秒)

tracker_server=192.168.56.101:22122 # tracker服务IP和端口

url_have_group_name=true # 访问链接前缀加上组名

store_path0=/leyou/fdfs/storage # 文件存储路径

  • 复制 FastDFS的部分配置文件到/etc/fdfs目录

cd /home/leyou/fdfs/FastDFS/conf/

cp http.conf mime.types /etc/fdfs/

b、 安装Nginx

切换回fdfs目录下

  • 解压

tar -xvf nginx-1.10.0.tar.gz

  • 配置

切换到

cd nginx-1.10.0

sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src

在这里插入图片描述

  • 编译安装

sudo make && sudo make install

  • 配置nginx整合fastdfs-module模块

我们需要修改nginx配置文件,在/opt/nginx/config/nginx.conf文件中:

sudo vim /opt/nginx/conf/nginx.conf

将文件中,原来的server 80{ ...} 部分代码替换为如下代码:

server {

listen 80;

server_name image.leyou.com;

监听域名中带有group的,交给FastDFS模块处理

location ~/group([0-9])/ {

ngx_fastdfs_module;

}

location / {

root html;

index index.html index.htm;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

}

  • 启动

nginx # 启动

nginx -s stop # 停止

nginx -s reload # 重新加载配置

  • 设置nginx开机启动

创建一个开机启动的脚本:

vim /etc/init.d/nginx

添加以下内容:

#!/bin/sh

nginx - this script starts and stops the nginx daemon

chkconfig: - 85 15

description: NGINX is an HTTP(S) server, HTTP(S) reverse \

proxy and IMAP/POP3 proxy server

processname: nginx

config: /etc/nginx/nginx.conf

config: /etc/sysconfig/nginx

pidfile: /var/run/nginx.pid

Source function library.

. /etc/rc.d/init.d/functions

Source networking configuration.

. /etc/sysconfig/network

Check that networking is up.

[ “$NETWORKING” = “no” ] && exit 0

nginx=“/usr/bin/nginx”

prog=$(basename $nginx)

NGINX_CONF_FILE=“/opt/nginx/conf/nginx.conf”

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {

make required directories

user=$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -

if [ -n “$user” ]; then

if [ -z “grep $user /etc/passwd” ]; then

useradd -M -s /bin/nologin $user

fi

options=$nginx -V 2>&1 | grep 'configure arguments:'

for opt in $options; do

if [ echo $opt | grep '.*-temp-path' ]; then

value=echo $opt | cut -d "=" -f 2

if [ ! -d “$value” ]; then

echo “creating” $value

mkdir -p $value && chown -R $user $value

fi

fi

done

fi

}

start() {

[ -x $nginx ] || exit 5

[ -f $NGINX_CONF_FILE ] || exit 6

make_dirs

echo -n $"Starting $prog: "

daemon $nginx -c $NGINX_CONF_FILE

retval=$?

echo

[ $retval -eq 0 ] && touch $lockfile

return $retval

}

stop() {

echo -n $"Stopping $prog: "

killproc $prog -QUIT

retval=$?

echo

[ $retval -eq 0 ] && rm -f $lockfile

return $retval

}

restart() {

configtest || return $?

stop

sleep 1

start

}

reload() {

configtest || return $?

echo -n $"Reloading $prog: "

killproc $nginx -HUP

RETVAL=$?

echo

}

force_reload() {

restart

}

configtest() {

$nginx -t -c $NGINX_CONF_FILE

}

rh_status() {

status $prog

}

rh_status_q() {

rh_status >/dev/null 2>&1

}

case “$1” in

start)

rh_status_q && exit 0

$1

;;

stop)

rh_status_q || exit 0

$1

;;

restart|configtest)

$1

;;

reload)

rh_status_q || exit 7

$1

;;

force-reload)

force_reload

;;

status)

rh_status

;;

condrestart|try-restart)

rh_status_q || exit 0

;;

*)

echo $“Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}”

exit 2

esac

  • 修改文件权限,并加入服务列表

修改权限

chmod 777 /etc/init.d/nginx

添加到服务列表

chkconfig --add /etc/init.d/nginx

  • 设置开机启动

chkconfig nginx on

访问浏览器对应的地址可以看到刚刚上传的图片

http://image.leyou.com/group1/M00/00/00/rBEACmEPpcyAcBNZAAFkkXlaVjk629.png

下面这是是刚刚上传的图片

在这里插入图片描述

11、文件上传Java代码的实现

余庆先生提供了一个Java客户端,但是作为一个c程序员,写的java代码可想而知。而且已经很久不维护了。这里推荐一个开源的FastDFS客户端,支持最新的SpringBoot2.0。

配置使用极为简单,支持连接池,支持自动生成缩略图,狂拽酷炫吊炸天啊,有木有。

https://github.com/tobato/FastDFS_Client

在这里插入图片描述

(1)在项目当中使用FastDFS-Client
1)引入依赖:修改ly-upload当中的pom.xml文件

在这里插入图片描述

com.github.tobato

fastdfs-client

2)引入Java的配置类

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

package com.leyou.upload.config;

import com.github.tobato.fastdfs.FdfsClientConfig;

import org.springframework.context.annotation.Configuration;

import org.springframework.context.annotation.EnableMBeanExport;

import org.springframework.context.annotation.Import;

import org.springframework.jmx.support.RegistrationPolicy;

@Configuration

@Import(FdfsClientConfig.class)

//解决jmx重复注册bean的问题

@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)

public class FastClientImporter {

}

3)编写FastDFS属性,即编写FastDFS的配置文件

在这里插入图片描述

fdfs:

so-timeout: 1501

connect-timeout: 601

thumb-image: #设置图片的缩略图

width: 60

height: 60

tracker-list: #tracker地址

  • 192.168.58.101:22122
4)编写测试类(实现上传文件的测试以及其对应上传缩略图)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

package com.leyou.upload;

import com.github.tobato.fastdfs.domain.StorePath;

import com.github.tobato.fastdfs.domain.ThumbImageConfig;

import com.github.tobato.fastdfs.service.FastFileStorageClient;

import com.leyou.upload.service.UploadService;

import org.junit.Test;

import org.junit.runner.RunWith;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.test.context.SpringBootTest;

import org.springframework.test.context.junit4.SpringRunner;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

@RunWith(SpringRunner.class) //测试启动器,可以加载Springboot测试注解。

@SpringBootTest //单元测试

public class FdfsTest {

@Autowired

private FastFileStorageClient storageClient;

@Autowired

private ThumbImageConfig thumbImageConfig;

@Test

public void testUpload() throws FileNotFoundException {

File file = new File(“D:\test\1.png”);

// 上传并且生成缩略图

StorePath storePath = this.storageClient.uploadFile(

new FileInputStream(file), file.length(), “png”, null);

// 带分组的路径

System.out.println(storePath.getFullPath());

// 不带分组的路径

System.out.println(storePath.getPath());

}

@Test

public void testUploadAndCreateThumb() throws FileNotFoundException {

File file = new File(“D:\test\baby.png”);

// 上传并且生成缩略图

StorePath storePath = this.storageClient.uploadImageAndCrtThumbImage(

new FileInputStream(file), file.length(), “png”, null);

// 带分组的路径

System.out.println(storePath.getFullPath());

// 不带分组的路径

System.out.println(storePath.getPath());

// 获取缩略图路径

String path = thumbImageConfig.getThumbImagePath(storePath.getPath());

System.out.println(path);

}

}

在D盘的test文件夹当中准备一张图片

在这里插入图片描述

运行测试类当中的测试方法

在这里插入图片描述

返回结果

在这里插入图片描述

用这个地址了浏览器当中访问

http://image.leyou.com/group1/M00/00/00/rBEACmEQz1iAJkXSAAiysGYAir4636.png

访问成功代表上传成功

在这里插入图片描述

运行第二个测试方法:上传并且生成缩略图

在这里插入图片描述

在这里插入图片描述

访问第三个图片的路径

http://image.leyou.com/group1/M00/00/00/rBEACmEQ0bCAJREiAAiysGYAir4857_60x60.png

图片已经被压缩

在这里插入图片描述

(2)改造:UploadService
1)UploadService完成文件的上传

在这里插入图片描述

package com.leyou.upload.service;

import com.github.tobato.fastdfs.domain.StorePath;

import com.github.tobato.fastdfs.service.FastFileStorageClient;

import com.leyou.common.enums.ExceptionEnum;

import com.leyou.common.exception.LyException;

import lombok.extern.slf4j.Slf4j;

import org.apache.commons.lang3.StringUtils;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import org.springframework.web.multipart.MultipartFile;

import javax.imageio.ImageIO;

import java.awt.image.BufferedImage;

import java.io.File;

import java.io.IOException;

import java.util.Arrays;

import java.util.List;

@Service

@Slf4j

public class UploadService {

@Autowired

private FastFileStorageClient storageClient;

// Arrays.asList可以将任意数据封装为集合(这里将文件的后缀分装为一个集合方便在文件上传时候进行校验)

private static final List ALLOW_TYPES = Arrays.asList(“image/jpeg”,“image/png”,“image/jpg”);

public String uploadImage(MultipartFile file) {

try {

//校验文件类型

String contentType = file.getContentType();

if(!ALLOW_TYPES.contains(contentType)){//校验当前文件的后缀是否在上述集合当中

throw new LyException(ExceptionEnum.INVALID_FILE_TYPE);

}

//校验文件的内容

BufferedImage image = ImageIO.read(file.getInputStream());

if(image == null){

throw new LyException(ExceptionEnum.INVALID_FILE_TYPE);

}

//上传到FastDFS

//获取后缀名,通过文件名称截取字符串的方式获取后缀名称

String extension = StringUtils.substringAfterLast(file.getOriginalFilename(),“.”);

StorePath storePath = storageClient.uploadFile(file.getInputStream(),file.getSize(), extension,null);

return “http://image.leyou.com/” + storePath.getFullPath();

} catch (IOException e) {

//如果上传失败,记录日志信息

log.error(“上传文件失败”,e);

//返回错误结果

throw new LyException(ExceptionEnum.UPLOAD_FILE_ERROR);

}

//返回图片路径

}

}

2)继续完善上述代码:(在配置文件当中配置相关属性)

UploadService当中的返回的路径是的地址是写死的地址因此我们需要将其抽取出来 ,需要配置一下允许访问数据的类型

在这里插入图片描述

ly:

upload:

baseUrl: http://image.leyou.com/

allowTypes:

  • image/jpeg

  • image/png

  • image/jpg

3)读取上述的配置文件当中定义的数据

在这里插入图片描述

在这里插入图片描述

package com.leyou.upload.config;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.List;

@ConfigurationProperties(prefix = “ly.upload”)

public class UploadProperties {

private String baseUrl;

private List allowTypes;

}

在这里插入图片描述

在这里插入图片描述

继续完善

在这里插入图片描述

package com.leyou.upload.config;

import lombok.Data;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.List;

@Data

@ConfigurationProperties(prefix = “ly.upload”)

public class UploadProperties {

private String baseUrl;

private List allowTypes;

}

4)在UploadService当中使用

写在最后

还有一份JAVA核心知识点整理(PDF):JVM,JAVA集合,JAVA多线程并发,JAVA基础,Spring原理,微服务,Netty与RPC,网络,日志,Zookeeper,Kafka,RabbitMQ,Hbase,MongoDB,Cassandra,设计模式,负载均衡,数据库,一致性哈希,JAVA算法,数据结构,加密算法,分布式缓存,Hadoop,Spark,Storm,YARN,机器学习,云计算…

image

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

g;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.List;

@ConfigurationProperties(prefix = “ly.upload”)

public class UploadProperties {

private String baseUrl;

private List allowTypes;

}

在这里插入图片描述

在这里插入图片描述

继续完善

在这里插入图片描述

package com.leyou.upload.config;

import lombok.Data;

import org.springframework.boot.context.properties.ConfigurationProperties;

import java.util.List;

@Data

@ConfigurationProperties(prefix = “ly.upload”)

public class UploadProperties {

private String baseUrl;

private List allowTypes;

}

4)在UploadService当中使用

写在最后

还有一份JAVA核心知识点整理(PDF):JVM,JAVA集合,JAVA多线程并发,JAVA基础,Spring原理,微服务,Netty与RPC,网络,日志,Zookeeper,Kafka,RabbitMQ,Hbase,MongoDB,Cassandra,设计模式,负载均衡,数据库,一致性哈希,JAVA算法,数据结构,加密算法,分布式缓存,Hadoop,Spark,Storm,YARN,机器学习,云计算…

[外链图片转存中…(img-tga4pM9h-1715451774997)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值