文章目录
一、动静分离
问题的提出
网页上文字信息和图片信息同时存在,图片比较多的时候加载比较慢,而且导致文字加载也比较慢。需要采用动静分离解决。
什么是动静分离
将动态请求和静态请求区分访问
为什么要做动静分离
tomcat本身处理静态效率不高,还会带来资源开销.所以使用动静分离,将静态由Nginx处理, 动态由PHP处理或Tomcat处理
如何实现动静分离
Nginx根据客户端请求的url来判断请求的是否是静态资源,如果请求的url包含jpg、png,则由Nginx处理。
如果请求的url是.php或者.jsp等等,这个时候这个请求是动态的,将转发给tomcat处理总结来说,Nginx是通过url来区分请求的类型,并转发给不同的服务端
二、FastDFS简介
FastDFS是由淘宝的余庆先生所开发,是一个轻量级、高性能的开源分布式文件系统,用纯C语言开发,包括文件存储、文件同步、文件访问(上传、下载)、存取负载均衡、在线扩容、相同内容只存储一份等功能,适合有大容量存储需求的应用或系统。做分布式系统开发时,其中要解决的一个问题就是图片、音视频、文件共享的问题,分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS(Hadoop)、TFS(淘宝)等。
源码开放下载地址:https://github.com/happyfish100
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS文件上传流程:
1)、client询问tracker上传到的storage,不需要附加参数;
2)、tracker返回一台可用的storage;
3)、client直接和storage通讯完成文件上传。
FastDFS文件下载流程:
1)、client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
2)、tracker返回一台可用的storage;
3)、client直接和storage通讯完成文件下载。
常见术语
FastDFS两个主要的角色:Tracker Server 和 Storage Server Tracker
Server
:跟踪服务器,主要负责调度storage节点与client通信,在访问上起负载均衡的作用,和记录storage节点的运行状态,是连接client和storage节点的枢纽。
Storage Server
:存储服务器,保存文件和文件的meta data(元数据)
Group
:文件组,也可以称为卷。同组内服务器上的文件是完全相同的,做集群时往往一个组会有多台服务器,上传一个文件到同组内的一台机器上后,FastDFS会将该文件即时同步到同组内的其它所有机器上,起到备份的作用。
meta data
:文件相关属性,键值对(Key Value Pair)方式,如:width=1024, height=768。和阿里云OSS的meta data相似。
三、安装和配置
1、 规划
跟踪服务器(Tracker Server):
存储服务器(Storage Server):
操作系统:CentOS7.4
用户:root
数据存储目录:/fastdfs
安装包:
FastDFS_v5.05.tar.gz
:FastDFS源码
libfastcommon.tar.gz
:(从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库)
fastdfs-nginx-module_v1.16.tar.gz
:storage节点http服务nginx模块
nginx-1.12.0.tar.gz
:Nginx安装包
2、下载和安装
下载并上传到Linux服务器上:
方式1:热心网友提供的网盘:https://pan.baidu.com/s/12K0glN7gzvunI6M_I_ZNhA 提取码:3312
方式2:分别下载
FastDFS下载:https://github.com/happyfish100/fastdfs/tags
libfastcommon下载:https://github.com/happyfish100/libfastcommon/tags
fastdfs-nginx-module下载:https://github.com/happyfish100/fastdfs-nginx-module/tags
nginx下载:http://nginx.org/download/
1)、上传文件
2)、安装所需依赖包
# gcc编译器
yum install make cmake gcc gcc-c++
安装好了查看gcc版本
gcc -v
3)、安装libfastcommon
①、解压
tar -zxvf libfastcommon.tar.gz
②、进入到解压后的文件夹执行编译、安装
cd libfastcommon-1.0.7
./make.sh
./make.sh install
4)、安装FastDFS
①、解压
tar -zxvf FastDFS_v5.05.tar.gz
②、进入到解压后的文件夹FastDFS执行编译、安装
cd FastDFS
./make.sh
./make.sh install
上面的步骤安装完了,在/etc/fdfs/下会生成3个配置文件,后面会用到
client.conf.sample storage.conf.sample tracker.conf.sample
5)、配置tracker服务器
①、进入到/etc/fdfs/,复制tracker样例配置文件,并重命名
cp tracker.conf.sample tracker.conf
②、修改tracker配置文件
vim tracker.conf
修改内容如下:
#默认值
disabled=false # 启用配置文件
port=22122 # tracker服务器端口(默认22122)
base_path=/fastdfs/tracker # 存储日志和数据的根目录
store_group=group1
③、创建base_path指定的目录
mkdir -p /fastdfs/tracker
④、防火墙中打开tracker服务器端口( 默认为 22122)。
注:阿里云应该配置并开启安全组,配置外网可以访问该端口号
vim /etc/sysconfig/iptables
末尾添加
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙:
service iptables restart
⑤、启动tracker服务器
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
注:如果是重启需要使用restart命令
初次启动,会在/fastdfs/tracker目录下生成logs、data两个目录
⑥、检查FastDFS Tracker Server是否启动成功
ps -ef | grep fdfs_trackerd
6)、配置storage服务器
①、进入到/etc/fdfs/,复制storage样例配置文件,并重命名
cp storage.conf.sample storage.conf
②、修改配置文件
vim storage.conf
修改部分内容如下
#默认值
group_name=group1 #必须和tracker的组名相同
disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=阿里云外网ip:22122 # tracker服务器IP和端口,此处是上面预定好的ip
http.server_port=80 # http访问文件的端口,此处需要和后面nginx 监听端口保持一致
③、创建基础数据目录
mkdir -p /fastdfs/storage #此处上面配置的 base path 和 store_path0路径,因为上面的路径可能不存在
④、防火墙中打开storage服务器端口( 默认为 23000)
注:阿里云应该配置并开启安全组,配置外网可以访问该端口号
vim /etc/sysconfig/iptables
添加如下端口行:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙
service iptables restart
⑤、启动storage服务器
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
初次启动,会在/fastdfs/storage目录下生成logs、data两个目录。
⑥、检查FastDFS Tracker Server是否启动成功
ps -ef | grep fdfs_storaged
7)、文件上传测试
①、复制并Tracker服务器客户端client配置文件
cp client.conf.sample client.conf
②、修改client配置文件
vim client.conf
修改以下配置,其它保持默认
base_path=/fastdfs/tracker
tracker_server=阿里云外网ip:22122 #修改为tracker_server地址和端口
③、执行文件上传命令
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/1.jpg
返回内容 返回文件ID号:group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg 返回类似内容,表示上传成功
此时图片还不能外网访问,需要借助nginx实现外网访问
8)、安装fastdfs-nginx-module
在所有storage节点安装fastdfs-nginx-module
作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入文件复制,有同步延迟的问题。假如Tracker 服务器将文件上传到了 10.0.31.201,上传成功后文件ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 10.0.31.202,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 10.0.31.203 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误
①、解压并进入到解压后的文件夹
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
cd fastdfs-nginx-module
②、修改config配置
去掉文本中所有的local(3个)
vim ./src/config
③、修改mod_fastdfs.conf
vim ./src/mod_fastdfs.conf
修改的内容如下:
base_path=/fastdfs/storage #此处必须是存储路径
tracker_server=阿里云外网ip:22122
group_name=group1 #和前面配置组名保持一致
store_path0=/fastdfs/storage #即M00
url_have_group_name = true #允许使用组名
④、将文件复制到etc中
cp ./src/mod_fastdfs.conf /etc/fdfs/
cp /usr/lib64/libfdfsclient.so /usr/lib
⑤、创建并复制所有内容到usr中
mkdir -p /usr/local/software/fastdfs-nginx-module
cp -r ./* /usr/local/software/fastdfs-nginx-module #路径不存在自行创建
⑥、复制FastDFS的部分配置文件到/etc/fdfs 目录
cd /usr/local/software/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
⑦、在/fastdfs/storage文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
9)、安装Nginx
已安装了Nginx
这里我已安装了Nginx,如果没有安装请往下看
①将上面的fastdfs-nginx-module模块添加到nginx中
只需要在原来的基础上添加新模块--add-module=/usr/local/software/fastdfs-nginx-module/src
进入到原来的nginx解压目录执行
./configure --prefix=/usr/local/software/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/software/fastdfs-nginx-module/src
②、重新编译安装
make
make install
③、修改配置文件
vim /usr/local/nginx/conf/nginx.conf
在配置文件夹中添加内容:
# 在原来的location /{
#...
#}块的下面添加如下内容:
location /group1/M00/{
root /fastdfs/storage/data;
ngx_fastdfs_module;
}
④、启动nginx
nginx
⑤、测试
测试上传后返回的文件ID为/group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg,浏览器加上外网地址:
http://121.196.62.166/group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg
没有安装Nginx
①、先安装nginx需要的依赖
yum -y install pcre-devel zlib-devel openssl openssl-devel
②、创建nginxclient文件夹
mkdir -p /var/temp/nginx/client
③、解压并进入nginx文件夹,并configure
# 解压 tar -zxvf nginx-1.12.0.tar.gz
# 进入目录
cd nginx-1.12.0
# configure命令(下面是一条命令)
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/software/fastdfs-nginx-module/src #此处和上面fastdfs-nginx-module配置路径对应
④、编译并安装
make
make install
⑤、修改配置文件
vim /usr/local/nginx/conf/nginx.conf
在配置文件夹中添加内容:
# 在原来的location /{
#...
#}块的下面添加如下内容:
location /group1/M00/{
root /fastdfs/storage/data;
ngx_fastdfs_module;
}
⑥、检查nginx配置文件是否有效
/usr/local/nginx/sbin/nginx -t
⑦、防火墙中打开 Nginx 的 80 端口
注:阿里云应该配置并开启安全组,配置外网可以访问该端口号
为了防止出现问题,最好在防火墙中放行80端口,放行方式和上面放行其他的一致,修改完成后保存重启防火墙
启动Nginx
/usr/local/nginx/sbin/nginx ngx_http_fastdfs_set pid=xxx
nginx重启命令为:/usr/local/nginx/sbin/nginx -s reload 启动nginx后,如果打印出ngx_http_fastdfs_set pid=xxx,表示fastdfs-nginx-module模块加载成功 了,xxx表示模块的进程ID。
⑨、测试是否成功:通过浏览器访问测试时上传的文件
测试上传后返回的文件ID为:group1/M00/00/00/CgAfvVnMWOiAaxm0AAA5ilsiE-g844.png,用浏览访问的 地址为:http://阿里云外网ip/group1/M00/00/00/CgAfvVnMWOiAaxm0AAA5ilsiE-g844.png
四、Java实现文件上传到fastDFS
在Springboot中使用Java实现文件上传到fastDFS
目前github中比较流行的操作fastDFS的库为:FastDFS_Client https://github.com/tobato/FastDFS_Client
该库需要跟springboot整合,具体操作如下:
1、导入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-thymeleaf</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>com.github.tobato</groupId>
<artifactId>fastdfs-client</artifactId>
<version>1.27.2</version>
</dependency>
2、配置文件
fdfs:
so-timeout: 1501
connect-timeout: 601
thumb-image: #缩略图生成参数
width: 150
height: 150
tracker-list: 121.196.62.166:22122
pool:
#从池中借出的对象的最大数目(配置为-1表示不限制)
max-total: -1
#获取连接时的最大等待毫秒数(默认配置为5秒)
max-wait-millis: 5000
#每个key最大连接数
max-total-per-key: 50
#每个key对应的连接池最大空闲连接数
max-idle-per-key: 10
#每个key对应的连接池最小空闲连接数
min-idle-per-key: 5
img_url: http://121.196.62.166/
3、Fdfs配置
@Configuration
@Import(FdfsClientConfig.class)
// 解决jmx重复注册bean的问题
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class ComponetImport {
// 导入依赖组件
}
4、功能代码
@Service
public class FileService {
@Autowired
private FastFileStorageClient client;
@Value("${img_url}")
private String imgUrl;
public String upload(MultipartFile file) throws Exception {
StorePath storePath = client.uploadFile(file.getInputStream(), file.getSize(), "jpg", null);
//全路径
String fullPath = imgUrl+storePath.getFullPath();
System.out.println(fullPath);
return fullPath;
}
}
5、controller代码
@Controller
public class FileController {
@Autowired
private FileService fileService;
@RequestMapping(value = "upload.html",method = RequestMethod.POST)
public String upload(Model model, MultipartFile file){
String path = null;
try {
path = fileService.upload(file);
} catch (Exception e) {
e.printStackTrace();
}
model.addAttribute("path",path);
return "success";
}
}
6、前端页面
index.html
<html lang="en">
<head>
<meta charset="UTF-8">
<title>文件上传</title>
</head>
<body>
<!--application/x-www-form-urlencoded只能上传文本格式的文件,multipart/form-data是将文件以二进制的形式上传-->
<form action="/upload.html" method="post" enctype="multipart/form-data">
<input type="file" name="file">
<input type="submit" value="上传">
</form>
</body>
</html>
success.html
<!DOCTYPE html>
<html lang="en" xmlns:th="http://www.w3.org/1999/xhtml">
<head>
<meta charset="UTF-8">
<title>上传成功</title>
</head>
<body>
<img th:src="${path}" >
</body>
</html>
测试,浏览器打开http://localhost:8080/进行文件上传,上传成功返回显示上传的图片