虚拟机中安装Nginx及FastDFS模块以及解决文件上传太大问题

最新推荐文章于 2023-05-30 20:57:26 发布
最新推荐文章于 2023-05-30 20:57:26 发布
阅读量721 收藏
点赞数
分类专栏： VM虚拟机 文章标签： 安装FastDFS碰到的坑  安装Nginx及FastDFS模块 上传文件传输最大1MB报错解决方案 配置nginx 分布式文件系统FDFS的配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fenduo/article/details/100901392
版权

一.配置nginx
1. 1添加用户
useradd leyou
会自动产生 /home/leyou 文件夹
利用xftp上传所需压缩包
在这里插入图片描述
1.2解压nginx
tar xvf nginx-1.10.0.tar.gz

1.2.0 安装依赖
FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想要从头学习，可以按下面方式安装：
1.2.1 安装GCC依赖
GCC用来对C语言代码进行编译运行，使用yum命令安装：
yum -y install gcc
1.2.2 安装unzip工具
unzip工具可以帮我们对压缩包进行解压
yum install -y unzip zip
1.2.3 安装libevent
yum -y install libevent
1.2.4 安装Nginx所需依赖
yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel
1.3开始安装nginx
然后进入文件夹 执行下一条命令 指定安装的目录
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx
安装及编译nginx
make && make install
1.3.1启动 nginx
检测nginx
ps -ef | grep nginx
在这里插入图片描述

1.3.2关闭防火墙
service iptables stop

1.3.3配置安装目录opt/nginx/conf中nginx.conf配置文件

events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;
    #gzip  on;
	server {
        listen       80;
        server_name  manage.leyou.com;

        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        location / {
			proxy_pass http://192.168.66.1:9001;
			proxy_connect_timeout 600;
			proxy_read_timeout 600;
        }
    }
	server {
        listen       80;
        server_name  api.leyou.com;

        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        location / {
			proxy_pass http://192.168.66.1:10010;
			proxy_connect_timeout 600;
			proxy_read_timeout 600;
        }
    }
    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

}

1.3.4重新加载nginx
nginx -s reload

二、测试上传 注意参数名字
测试工具
在这里插入图片描述
web控制层
在这里插入图片描述
2.1注意网关配置文件 prefix
在这里插入图片描述
测试
在这里插入图片描述

2.1.1绕过网关
图片上传是文件的传输，如果也经过Zuul网关的代理，文件就会经过多次网路传输，造成不必要的网络负担。在高并发时，可能导致网络阻塞，Zuul网关不可用。这样我们的整个系统就瘫痪了。
所以，我们上传文件的请求就不经过网关来处理了。
在api.leyou.com的server中加入以下配置

location /api/upload {
                rewrite "^/(.*)" /zuul/$1;
        }

2.2FDFS上传下载流程图
上传
在这里插入图片描述
下载
在这里插入图片描述
1.2.5 安装libfastcommon-master 接1.2安装依赖
这个没有yum包，只能通过编译安装：
• 解压刚刚上传的libfastcommon-master.zip

unzip libfastcommon-master.zip
cd libfastcommon-master

• 编译并且安装

	./make.sh && ./makesh install

2.3安装FastDFS
解压

tar -xvf FastDFS_v5.08.tar.gz

cd FastDFS

编译且安装

./make.sh &&./make.sh install

证明安装成功
在这里插入图片描述
• fdfs_trackerd 是tracker启动脚本
• fdfs_storaged 是storage启动脚本

打开/etc/fdfs
在这里插入图片描述
• tarcker.conf.sample 是tracker的配置文件模板
• storage.conf.sample 是storage的配置文件模板
• client.conf.sample 是客户端的配置文件模板
配置tracker
修改文件名字，以及配置路径 启动服务
打开tracker.conf，修改base_path配置：
base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录
在这里插入图片描述
测试是否成功 以及配置tracker 开机启动
在这里插入图片描述

配置storage
在这里插入图片描述
配置路径
在这里插入图片描述
修改文件上传路径
在这里插入图片描述
创建目录 开启服务 检测服务 配置开机启动
在这里插入图片描述
客户端测试
配置文件client.conf
在这里插入图片描述
往tmp文件夹中上传0.jpg图片文件

在etc/fdfs目录测试

/usr/bin/fdfs_upload_file client.conf /tmp/0.jpg

返回结果测试成功
group1/M00/00/00/wKhCQl1Q-uqAasE0AAIbvpV7Z84847.jpg
在这里插入图片描述
2.4 安装Nginx及FastDFS模块

tar -xvf fastdfs-nginx-module_v1.16.tar.gz

配置config文件

进入配置目录

cd /home/leyou/fdfs/fastdfs-nginx-module/src/

修改配置

vim config

执行下面命令（将配置中的/usr/local改为/usr）：

:%s+/usr/local/+/usr/+g

配置mod_fastdfs.conf

将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录：

 cp mod_fastdfs.conf /etc/fdfs/

编辑该文件

 vim /etc/fdfs/mod_fastdfs.cof

修改一下配置：

connect_timeout=10                  		# 客户端访问文件连接超时时长（单位：秒）
tracker_server=192.168.56.101:22122  	# tracker服务IP和端口
url_have_group_name=true            		# 访问链接前缀加上组名
store_path0=/leyou/fdfs/storage        		# 文件存储路径

复制 FastDFS的部分配置文件到/etc/fdfs目录

cd /home/leyou/fdfs/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

打开home/leyou/fdfs/nginx目录

因为源码包放错位置了需要更改

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src

在这里插入图片描述

重新编译nginx
因为已经安装过nginx只需要 编译

 make

会产生objs文件夹 进入
在这里插入图片描述
再次修改opt/nginx下的nginx配置文件
新加server

server {
        listen       80;
        server_name  image.leyou.com;

    	# 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        
    }

重新加载

nginx -s reload

http://image.leyou.com/group1/M00/00/00/wKhCQl1Q-uqAasE0AAIbvpV7Z84847.jpg
测试用的图片

设置nginx开机启动
创建一个开机启动的脚本：

vim /etc/init.d/nginx

添加以下内容：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

修改文件权限，并加入服务列表

修改权限

chmod 777 /etc/init.d/nginx

添加到服务列表

chkconfig --add /etc/init.d/nginx

设置开机启动

chkconfig nginx on

设置文件上传太大问题
在这里插入图片描述

上传文件传输最大1MB报错解决方案
Nginx中配置如下，限制文件上传最大为10MB

项目使用的是Spring Boot + Spring Cloud，上传附件报超出自带tomacat限制大小（默认1M）
在这里插入图片描述

外置tomcat需要这样配置 不限制文件上传的大小
在这里插入图片描述
Springboot内置tomcat的解决方案
在springboot2.0.3版本中，修改为

spring.servlet.multipart.max-file-size=5Mb
spring.servlet.multipart.max-request-size=50Mb

application.yml文件的话这样配置
在这里插入图片描述
然后在启动类中加入如下配置:
在启动类中加入: 注解

@configuration

然后加入:

/**
 * 配置上传文件大小的配置
 * @return
 */
@Bean
public MultipartConfigElement multipartConfigElement() {
   MultipartConfigFactory factory = new MultipartConfigFactory();
   //  单个数据大小
   factory.setMaxFileSize("102400KB");
   /// 总上传数据大小
   factory.setMaxRequestSize("102400KB");
   return factory.createMultipartConfig();
}

如果配置了网关需要相同的配置启动类，而且网关的启动类中的bean,管理上传文件的大小（好好理解哦）
在这里插入图片描述
三、配置服务的aplication文件

fdfs:
  so-timeout: 2500
  connect-timeout: 600
  thumb-image: # 缩略图
    width: 60
    height: 60
  tracker-list: # tracker地址
    - 192.168.66.66:22122

3.1配置nginx的热更新
页面中不会产出很多的错误请求，页面自动更新
在这里插入图片描述

配置图片的静态路径 如果不是group的自动找images
在这里插入图片描述
测试成功

在这里插入图片描述

奋斗⁹⁸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统.docx
07-21
FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统
FastDFS文件存储
qq_39459412的博客
04-02 1195
一、FastDFS介绍 FastDFS开源地址：https://github.com/happyfish100 参考：分布式文件系统FastDFS设计原理 参考：FastDFS分布式文件系统 个人封装的FastDFS Java API：https://github.com/bojiangzhou/lyyzoo-fastdfs-java 1、简介 FastDFS 是一个开源的高性能分布...
fastdfs 错误日志记录及处理
热门推荐
阿索的专栏
04-03 1万+
1、 ERROR - file: /usr/local/fastdfs-nginx-module/src/common.c, line: 103, section: group1, you must set parameter: group_name! 该错误的是在使用场景为：一台机器部署两个storage时发生的， 一台机器上有连个storage，即有两个group，此时需要在f...
FastDFS 实现大文件分片上传
三分三
01-07 1万+
1、引入fastdfs <!-- fastdfs包 --> <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.25.2-RELEASE&...
一个程序员的重启-解决大文件上传采用fastDFS分布式文件存储，实现文件分片上传、断点续传，超详细的编码
weixin_46330385的博客
08-15 1622
大文件上传 分片上传 断点续传 java 最近实习，碰到一个大文件上传的难题，然后公司用的也是使用fastDFS进行存储文件，所以博主这两天一直在学习这方面的知识现在跟大家分享一波。liunx的centos7系统（用于安装FastDFS，因为FastDFS没有window的安装程序）redis。2.后端通过相关获取相关值进行业务处理（例如：判断断点，是否重复传），并把file存进fdfs的文件存储位置。1.前端首先要将文件分片，并获取关键数据，例如。......
rancher中设置fastdfs上传大小
weixin_43960618的博客
11-11 466
注意:安装的fastdfs没有限制上传的大小.所以上传大小在微服务里设置: servlet: multipart: max-file-size: 15MB # 限制文件上传的大小 TODO 需求配置 附件 rancher中设置fastdfs上传大小.docx
fastDFS上传文件过大
weixin_44456331的博客
04-10 5374
在做项目时有一个上传文件的需求，文件过大时前端报错 413 Request Entity Too Large 解决步骤 1.百度后，因为项目使用了nginx负载均衡，需要修改nginx配置文件，找到nginx.conf文件在其中增加 client_max_body_size 50m;//设置客户端请求体最大值 client_body_buffer_size 10m;//配置请求体缓存区大小 ...
12-SpringBoot整合FastDFS实现分片上传大文件、秒传
NikoChina的博客
05-25 1580
2、将一个文件的二进制流转换成md5加密后的字符串。3、分片上传文件 如果有相同文件实现秒传。1、文件进行分片(一般是前端做的)。
安装nginx以及fastdfs-nginx-module 以及遇到的问题-附件资源
03-05
安装nginx以及fastdfs-nginx-module 以及遇到的问题-附件资源
Nginx 上传大文件超时解决办法
09-30
主要介绍了Nginx 上传大文件超时解决办法的相关资料,这里上传文件并设置nginx的配置文件防止超时的情况，需要的朋友可以参考下
nginx上传文件大小报错500的解决办法
09-30
主要介绍了nginx上传文件大小报错解决办法的相关资料,小文件可以提交，大文件会报500内部错误，这里提供解决办法，需要的朋友可以参考下
ubuntu安装nginx+fastdfs.zip
08-18
ubuntu离线部署nginx+fastdfs软件包 autoconf-latest.tar.gz automake-1.15.tar.gz fastdfs-5.11.tar.gz fastdfs-nginx-module-1.20.tar.gz libfastcommon-1.0.38.tar.gz m4-1.4.18.tar.gz openssl-1.1.0j.tar.gz ...
大日志文件处理
weixin_55229531的博客
04-19 4367
最近我开发过程中碰到了一个比较大的日志文件，但是却因为太大而打不开，因此我找到一些方法解决这一问题。
FastDFS分布式文件系统详解
weixin_48530729的博客
03-24 7800
FastDFS 简介 FastDFS 是基于 C 语言开发的，是一个轻量级开源的高性能分布式文件系统。主要功能有：文件存储、文件同步、文件访问(文件上传/下载)，解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。FastDFS 特别适合中大型网站以文件为载体的在线服务，适合存储 4KB ~ 500MB 之间的小文件，如照片共享网站、视频共享网站（图片、文档、音频、视频等等）。 Github地址 FastDFS 架构 Client 客户端，实现文件上传下载的服务器，就是我们自己的项目所部.
FastDFS实现大文件分片上传
天海行者的专栏
01-28 5196
Docker方式安装FastDFS 1、拉取镜像命令 docker pull delron/fastdfs 2、使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用） docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs -v /etc/localtime:/etc/localtime delron/fastdfs tracker 3、使用docker镜像构建storage容器（存储服
FastDFS分布式文件管理工具
djdjjdjdj的博客
08-22 912
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构包括 Tracker server 和 Storage server。客户端请求
FastDfs大文件分片上传和断点续传
Curtisjia的博客
04-22 5775
前言 其实之前在大文件分片上传与极速秒传实现文章中我写过一次关于分片上传和断点续传, 但其实那个时候对断点续传的理解及其有限. 最近在项目里需要对大文件进行分片上传, 所以开始重新研究. 不过我觉得对于这个我只想讲下核心的思想. 分片上传思想 根据之前的文章, 我说过, 假如我们对500M的文件进行分片上传, 每片大小是5M, 那么总共就是100M分片. 前端主要就是通过文件大小和设置的分片的大小计算出分片的数量, 将这些必要参数传给后端, 后端通过分片的数量一次一次的将每个分片传到后台, 后台也同样一次次
【微信小程序】大文件分片上传到FastDFS文件服务器
weixin_46070649的博客
05-30 790
微信小程序文件上传
智慧酒店项目智能化系统汇报方案qy.pptx
最新发布
04-30
智慧酒店项目智能化系统汇报方案qy.pptx
linux虚拟机中安装nginx步骤
06-09
安装 Nginx 步骤如下： 1. 打开终端，输入以下命令以更新软件包列表： ``` sudo apt-get update ``` 2. 输入以下命令以安装 Nginx： ``` sudo apt-get install nginx ``` 3. 安装完成后，输入以下命令以启动 Nginx： ``` sudo systemctl start nginx ``` 4. 检查 Nginx 是否正在运行，输入以下命令： ``` sudo systemctl status nginx ``` 如果 Nginx 正在运行，你会看到类似下面的输出： ``` ● nginx.service - A high performance web server and a reverse proxy server Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled) Active: active (running) since Mon 2020-05-11 16:54:13 UTC; 12s ago ... ``` 5. 在浏览器中输入虚拟机的 IP 地址，即可看到 Nginx 的欢迎页面。 注意：如果你的虚拟机使用的是 NAT 模式，需要在虚拟机中设置端口转发才能访问 Nginx。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值