FastDFS优化与应用

最新推荐文章于 2024-04-29 11:05:03 发布
最新推荐文章于 2024-04-29 11:05:03 发布
阅读量843 收藏 2
点赞数 1
分类专栏： 常用软件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyongdehao30/article/details/88234581
版权

上一篇文章已经就 fastdfs安装完毕并可以应用，大部分业务已经可以使用。但是在写入实时性要求很高的情况下，需要进行优化。

主要涉及2个方面：

1、系统优化，优化IO

达到内存多少百分比时，刷入IO磁盘 pdflush

原值：echo 10 > /proc/sys/vm/dirty_background_ratio
echo 1 > /proc/sys/vm/dirty_background_ratio
同上，非pdflush
原值： echo 20 > /proc/sys/vm/dirty_ratio
echo 1 > /proc/sys/vm/dirty_ratio
多久后算脏页，毫秒
原值 echo 3000 > /proc/sys/vm/dirty_expire_centisecs
echo 100 > /proc/sys/vm/dirty_expire_centisecs
--------------------- 
作者：一杯米酒 
来源：CSDN 
原文：https://blog.csdn.net/yangyongdehao30/article/details/78427298 
版权声明：本文为博主原创文章，转载请附上博文链接！

2、代码优化

因为淘宝的fastdfs本身是异步的，当要求既存既取的时候，会有取不到内容的情况（脏页的大小和刷新频率决定了存储时间，然而每个文件实时存储，则极大浪费CPU），所以这里写了一个缓存代理，在写入时缓存中会进行同步存储文件流数据，在取值的时候，如果nginx发现为空，则去缓存再查找一次。

架构如下

若需使用可以下载 https://github.com/yangyongdehao30/fastdfs-plus.git

部署fastdfs-http项目，注意指定membercache服务，java上传文件使用fastdfs-client-java驱动包（需部署memcache服务一台）nginx server标签中做如下配置

location ^~ /group1/M00 {
            alias   /data/fdfs/data;
            index  index.html index.htm;
            try_files $uri $uri/ /memcache?http://$server_addr/$uri;
        }


        location ^~ /group1/M01 {
            alias   /data/fdfs1/data;
            index  index.html index.htm;
            try_files $uri $uri/ /memcache?http://$server_addr/$uri;
        }       

        location /memcache {
         proxy_pass      http://10.0.2.230:12120/getFile?url=$query_string;
        }

以下是本人基于fastdfs-client-java驱动包封装的util，仅供参考

package com.jinhuhang.risk.util;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.time.DateFormatUtils;
import org.aspectj.util.FileUtil;
import org.csource.common.MyException;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.ServerInfo;
import org.csource.fastdfs.StorageClient1;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;
import org.springframework.core.io.support.PropertiesLoaderUtils;

import com.alibaba.dubbo.common.threadpool.support.fixed.FixedThreadPool;
import com.alibaba.fastjson.JSONObject;
import com.jinhuhang.risk.common.Constant;


/**
 * @project risk-common
 * @author yy
 * @date 2017年7月11日 上午10:32:31
 * @description TODO fdfs文件存储 工具类
 * @tag 指定配置文件地址：配置 fdfs.confpath 属性
 */
public class FDFSUtil {
    private static TrackerClient trackerClient = null;
    private static TrackerServer trackerServer = null;
    private static StorageServer storageServer = null;
    //使用StorageClient1进行上传
    private static StorageClient1 storageClient1 = null;

    static {
    	if(StringUtils.isEmpty(Constant.getConfig("fdfs.confpath")))
    		new FDFSUtil().init("fdfs_client.conf");
    	else
    		new FDFSUtil().init(Constant.getConfig("fdfs.confpath"));
    }
    public void init(String config)
    {
        try {
            ClientGlobal.init(config);
            trackerClient = new TrackerClient();
            trackerServer = trackerClient.getConnection();
            storageServer = trackerClient.getStoreStorage(trackerServer);
            storageClient1 = new StorageClient1(trackerServer, storageServer);
        } catch (Exception e) {
            throw new RuntimeException("初始化FDFS出错：",e);
        }
    }

    /**
     * @title uploadFile
     * @description 按字节上传文件
     * @author yy
     * @date 2017年7月11日 上午10:38:51
     * @param file_buff 字节数
     * @param file_ext_name 后缀名
     * @return
     * @throws Exception
     * @return String
     */
    public static String uploadFile(byte[] file_buff, String file_ext_name) throws Exception {
         String path="http://"+storageServer.getInetSocketAddress().getHostName()+"/"+storageClient1.upload_file1(file_buff, file_ext_name, null);
         Thread.sleep(1500);
         return path;
    }
    /**
     * @title deleteFile
     * @description 删除文件
     * @author yy
     * @date 2017年7月11日 上午10:54:38
     * @param remote_filename
     * @return
     * @throws Exception
     * @return boolean
     */
    private static boolean delete_file(String remote_filename) throws Exception
    {
        String group_name=remote_filename.substring(0, remote_filename.indexOf("/"));
        remote_filename = remote_filename.substring(remote_filename.indexOf("/")+1);
        int i = storageClient1.delete_file(group_name, remote_filename);
        if(i==0)
            return true;
        return false;
    }
    /**
     * @title uploadFile
     * @description  按名称上传文件
     * @author yy
     * @date 2017年7月11日 上午10:42:13
     * @param local_filename 文件名
     * @param file_ext_name 后缀名
     * @return
     * @throws Exception
     * @return String
     */
    public static String uploadFile(String local_filename, String file_ext_name) {

        try {
            return storageClient1.upload_file1(local_filename, file_ext_name, null);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }

    }
    /**
     * @title downloadFileAsString
     * @description 下载文件 ，返回默认编码 格式的字符串
     * @author yy
     * @date 2017年7月11日 上午10:43:39
     * @param remote_filename 文件名
     * @return
     * @throws Exception
     * @return String
     */
    public static String downloadString(String remote_filename)
    {
        return HttpUrlPost.sendGet(remote_filename,"");
    }
    
    public static byte[] downloadFile(String remote_filename)
    {
        return HttpUrlPost.sendGet(remote_filename,"").getBytes();
    }
    

    /**
     * @title uploadBytes
     * @description 按字节流上传
     * @author yy
     * @date 2017年7月12日 下午2:22:13
     * @param bytes
     * @return
     * @return String
     */
    public static String uploadBytes(byte[] bytes) {
        try {
            return uploadFile(bytes, "");
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }
    /**
     * @title uploadFile
     * @description 存储字符串
     * @author yy
     * @date 2017年7月11日 上午10:48:30
     * @param stringFile
     * @return
     * @return String
     */
    public static String uploadString(String stringContent) {
        try {
            return uploadFile(stringContent.getBytes(), "");
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }
    
    public static String uploadString(String stringContent,String suffix) {
        try {
            return uploadFile(stringContent.getBytes(), suffix);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

    /**
     * @title uploadFile
     * @description 存储多个字符串，要么全部成功，要么全部失败
     * @author yy
     * @date 2017年7月11日 上午10:48:30
     * @param stringFile
     * @return
     * @return List<FilePath>
     */
    public static List<String> uploadStrings(String...stringContent) {
        List<String> list  = new ArrayList<String>();
        try {
            for (String string : stringContent) {
                list.add(uploadFile(string.getBytes(), ""));
            }
            return list;
        } catch (Exception e) {
            try {//删掉已经成功上传的
                for (String string : list) {
                    delete_file(string);
                }
            } catch (Exception e2) {
                // TODO: handle exception
            }
            throw new RuntimeException(e);
        }
    }

    /**
     * @title deleteFile
     * @description 删除文件
     * @author yy
     * @date 2017年7月11日 上午11:07:05
     * @param remote_filename
     * @return
     * @return boolean
     */
    public static boolean deleteFile(String remote_filename)
    {
        try {
            String group_name=remote_filename.substring(0, remote_filename.indexOf("/"));
            remote_filename = remote_filename.substring(remote_filename.indexOf("/")+1);
            int i = storageClient1.delete_file(group_name, remote_filename);
            if(i==0)
                return true;
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
        return false;
    }


    public static void main(String[] args) {
    	System.out.println("开始运行...");
    	//检测FDFS
    	try {
    		new FDFSUtil().init("D:/fdfs_client.conf");
        	String s = "";
        	String path = FDFSUtil.uploadFile(s.getBytes(), "txt");
        	System.out.println(path);
		} catch (Exception e) {
			e.printStackTrace();
		}
    	
//    	boolean b=FDFSUtil.deleteFile("group1/M00/02/1A/CgACpVms18OAeoOjAAAoe0alckw.ym_con");
//    	FixedThreadPool fp=new FixedThreadPool()
        /*for (int i = 0; i < 1; i++) {



            //运行main时，注释掉 static代码块
            new FDFSUtil().init("D:\\fdfs_client.conf");
            try {
                boolean b = FDFSUtil.delete_file("group1/M01/00/35/wKgBP1ma04GAHdgNAAAff5K7hls6629483");
                System.out.println(b);

            }catch (Exception e){
                e.printStackTrace();
            }
//            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS"));
//            String uploads="[{\"phone\":\"17602151396\",\"name\":\"测试号\"},{\"phone\":\"13569936336\",\"name\":\"测试二号\"}]";
//            String str=FDFSNewUtil.uploadString(uploads);
//            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"str>"+str);
//            String reStr=FDFSNewUtil.downloadString(str);
//            System.out.println("reStr:"+reStr);


//            String filePath =FDFSUtil.uploadFile("C:\\Users\\yangyong\\Desktop\\newtxt.txt", "txt");
//            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"filePath>"+filePath);
//            List<String> list=FDFSNewUtil.uploadStrings("{\"a\":\"av\",\"b\":\"bv\",\"c\":\"cv\"}","{\"a\":\"av\",\"b\":\"bv\",\"c\":\"cv\"}");
//            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"list>"+list.toArray().toString());
            String reStr=FDFSNewUtil.downloadString(str);
            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"reStr>"+reStr);
            byte[] bs=FDFSNewUtil.downloadFile(str);
            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"bs>"+bs);
//            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"delete str>"+FDFSNewUtil.deleteFile(str));
            System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"delete filePath>"+FDFSNewUtil.deleteFile(filePath));
//            for (String s : list) {
//                System.out.println(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss.SSS")+"delete list.s>"+FDFSNewUtil.deleteFile(s));
//            }


        }*/
    }
}

 

yangyongdehao30
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS性能调优 know how
Huazie
07-19 2463
FastDFS性能调优。众所周知，软件性能调优不是一撮而就的事情，它是一个反复磨合的过程。下面介绍FastDFS几个性能调优相关的重要参数，供大家参考。
FastDFS性能优化
足迹
06-02 1994
1.linux系统优化 #linux优化 #查看性能 ulimit -a #修改打开文件数量 vi /etc/security/limits.conf #配置详情 * soft nofile 65536 * hard nofile 68836 * soft nproc 4096 * hard nproc 4096 2.nginx优化（集群每台都要优化） #user nobody; #根据CPU的数量配置 worker_processes 4; worker_rlimit_nofile 6
fdfs安装启动及性能优化
最新发布
xukaiqiang123的博客
04-29 675
FastDFS为一个连接分配一个task buffer，为了提升分配效率，FastDFS采用内存池的做法。FastDFS老版本直接事先分配 max_connections 个buffer，这个做法显然不是太合理，在max_connections 设置过大的情况下太浪费内存。为了充分发挥出多个CPU的效能，系统中的线程数总和，建议不要超过CPU总数的2倍。如果磁盘做了RAID，比如RAID5或RAID10，那么需要酌情加大读写线程数，这样才能最大程度地发挥磁盘IO能力。配置文件：storage.conf。
FastDfs集群和优化配置
蛋蛋的碎碎念
12-26 1051
FasstDfs集群配置，优化，springboot使用
提升磁盘IO性能的几个技巧
sealbird的专栏
05-12 1228
[quote]本帖最后由 happy_fish100 于 2011-05-01 17:46 编辑 目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小，对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特性。FastDFS最初...
FastDFS使用和优化.docx
04-16
FastDFS 的文件下载过程与文件上传过程相似，但方向相反。Client 向 Tracker 服务器请求下载文件，Tracker 服务器返回可用的 Storage 信息，Client 根据 Storage 信息下载文件。 四、单机环境搭建 FastDFS 的单机...
fastDFS与nginx.zip
07-07
5. 配置FastDFS客户端，使应用程序能够与FastDFS交互。 接下来，我们讨论Nginx。Nginx以其高效的事件处理模型和低内存占用而闻名，它能同时处理大量的连接请求，尤其适合高并发场景。作为反向代理，Nginx可以将来自...
FastDFS集成demo
11-03
在这个"FastDFS集成demo"中，我们将探讨如何将FastDFS与Java进行集成，以便在实际应用中实现文件（尤其是图片）的上传、删除等功能。 首先，我们来看`fastdfs-client.conf`文件。这是FastDFS客户端的配置文件，其中...
fastdfs.zip
06-29
在实际应用中，FastDFS还涉及到负载均衡、容错机制、性能优化等多个方面。例如，FastDFS支持多组存储，每组可以有多个storage服务器，通过tracker服务器进行负载均衡；当storage服务器出现故障时，FastDFS能够自动...
fastdfs-nginx-module-1.24
02-07
这一版本是针对 FastDFS 的最新更新，旨在优化性能，提高稳定性和兼容性，以满足现代互联网应用对高并发、大数据量存储和访问的需求。 FastDFS 是一个开源的高性能、轻量级的分布式文件系统，主要用于解决大容量...
fastdfs简单封装
weixin_44869013的博客
02-25 325
fastdfs
DFS 图遍历路径优化分析
热门推荐
识物专栏
12-29 2万+
深度优先搜索是图的遍历的一种重要方法，在一些网络拓补结构、DNA 网络等复杂图形分析中有很广泛的应用。传统的深度优先搜索，从某一节点开始，依次遍历此节点所有相邻且未被访问的节点，其下一跳节点的选择往往不是最优的。文章通过对当前节点所有未被访问的下一跳节点计算其到所有未访问节点路径总和，选择最优的一个节点作为下一跳节点，使得深度优先搜索在图的遍历过程中总的搜索路径大大减少。 深度优先搜索算法对图的遍历分析 图的遍历是指从图的某个节点开始，沿着某条路径对图中所有节点依次访问。解决图的遍历问题，目前主要.
fastdfs 高并发场景下的异常处理
zhangyunpengchang的专栏
05-22 1919
https://www.jianshu.com/p/bdb6eb4fe9db
FastDFS 集群和配置优化
小城我家
09-30 941
FastDFS 集群和配置优化 FastDFS集群架构设置 3台CentOS 7 虚拟机 3个tracker 3个storage 192.168.181.135 192.168.181.134 192.168.181.128 tracker tracker tracker storage（group1） storage（group1） storage（group2） nginx nginx nginx 全部按单个的配置 https://blog.csdn.net/ko0491/a
FastDFS的一些总结
高内聚低耦合
01-13 2万+
在之前的工作当中,使用到了FastDFS.最早我也不知道这是什么玩意,只是说老大说使用到它.后来它被搭建起来了,并且在项目中是作为图片服务器使用的.光顾着怎么去用,也没有时间好好做个总结,毕竟小公司就是如此比较繁忙,什么事情都要你做但是什么都做不精..回到杭州之后,被网易考拉的大佬问到了FastDFS,所以在此做一个简单的总结,在以后的工作之中多记录一些点滴,毕竟好记性不如烂笔头. FastDF
fastdfs java 连接池_带连接池的 fastdfs 客户端starter
weixin_42518874的博客
02-23 789
fastdfs-spring-boot-starter一个简单的基于org.csource.fastdfs.StorageClient1二次封装并提供连接池功能的fastdfs客户端starter.介绍说明工程提供三大接口(扩展点)：​ 操作接口->FastDFSClient,​ StorageClient1对象池接口->StorageC...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值