Mac 安装 fastdfs,nginx, fastdfs-nginx-module,fastdht 笔记

最新推荐文章于 2023-09-02 00:29:09 发布
最新推荐文章于 2023-09-02 00:29:09 发布
阅读量718 收藏 1
点赞数
文章标签： 运维 操作系统 git
原文链接：https://my.oschina.net/u/930279/blog/1802338
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Mac 安装 fastdfs 笔记

1. 准备

2. 编译安装libfastcommon

参见 INSTALL 文件

cd libfastcommon
./make.sh
./make.sh install

#生成的文件
mkdir -p /usr/lib64
mkdir -p /usr/lib
install -m 755 libfastcommon.so /usr/lib64
install -m 755 libfastcommon.so /usr/lib
mkdir -p /usr/include/fastcommon
install -m 644 common_define.h hash.h chain.h logger.h base64.h shared_func.h pthread_func.h ini_file_reader.h _os_define.h sockopt.h sched_thread.h http_func.h md5.h local_ip_func.h avl_tree.h ioevent.h ioevent_loop.h fast_task_queue.h fast_timer.h process_ctrl.h fast_mblock.h connection_pool.h fast_mpool.h fast_allocator.h fast_buffer.h skiplist.h multi_skiplist.h flat_skiplist.h skiplist_common.h system_info.h fast_blocked_queue.h php7_ext_wrapper.h id_generator.h char_converter.h char_convert_loader.h /usr/include/fastcommon

2. 安装 fastdfs

直接运行 make.sh,sh make.sh install直接安装

也可以修改 make.sh, 指定安装位置,第51行添加

DESTDIR=/Users/sky/all/web/fastdfs

这样所有文件都在指定目录中,方便管理.

如果指定了安装位置,安装 fastdfs-nginx-module 会找不到文件.可以只留下 bin 文件的内容,将其他文件复制到系统对应的位置.

3. tracker 配置启动

  1. 修改配置文件

    vi /etc/fdfs/tracker.conf
# the base path to store data and log files
# modify
base_path=/Users/sky/all/web/fastdfs/base/trackerd

  2. 启动

    /Users/sky/all/web/fastdfs/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

    ​

4. storage 配置及启动

  1. 修改 storage.conf

    #拷贝一份新的storage配置文件：
cp storage.conf.sample storage.conf

#修改storage.conf
vi storage.conf
group_name=group1
base_path=base_path=/Users/sky/all/web/fastdfs/base/storaged
store_path0=/Users/sky/all/web/fastdfs/store
#如果有多个挂载磁盘则定义多个store_path，如下
#store_path1=.....
#store_path2=......
tracker_server=192.168.1.103:22122   #配置tracker服务器:IP
#如果有多个则配置多个tracker
#tracker_server=192.168.101.4:22122

#配置http端口
http.server_port=80

  2. 启动

    /Users/sky/all/web/fastdfs/bin/fdfs_storaged /etc/fdfs/storage.conf restart

5. 测试

  1. fdfs_monitor /etc/fdfs/storage.conf

    /Users/sky/all/web/fastdfs/bin/fdfs_monitor /etc/fdfs/storage.conf

/Users/sky/all/web/fastdfs/bin/fdfs_monitor /etc/fdfs/client.conf

  2. test

    /Users/sky/all/web/fastdfs/bin/fdfs_test /etc/fdfs/client.conf upload /Users/sky/Pictures/pretty.jpg

    ​

  3. 测试结果

    $ /Users/sky/all/web/fastdfs/bin/fdfs_test /etc/fdfs/client.conf upload /Users/sky/Pictures/pretty.jpg
This is FastDFS client test program v5.12

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2018-04-27 15:16:09] DEBUG - base_path=/Users/sky/all/web/fastdfs/base/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group:
	server 1. group_name=, ip_addr=192.168.1.103, port=23000

group_name=group1, ip_addr=192.168.1.103, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBZ1rizjmAIoMoAAAiJgI2OLI651.jpg
source ip address: 192.168.1.103
file timestamp=2018-04-27 15:16:09
file size=8742
file crc32=37107890
example file url: http://192.168.1.103:8080/group1/M00/00/00/wKgBZ1rizjmAIoMoAAAiJgI2OLI651.jpg
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBZ1rizjmAIoMoAAAiJgI2OLI651_big.jpg
source ip address: 192.168.1.103
file timestamp=2018-04-27 15:16:09
file size=8742
file crc32=37107890
example file url: http://192.168.1.103:8080/group1/M00/00/00/wKgBZ1rizjmAIoMoAAAiJgI2OLI651_big.jpg

    ​

6. fastdfs-nginx-module

  1. 配置

    ./configure  \
--prefix=/Users/sky/all/web/nginx  \
--with-http_ssl_module  \
--with-pcre \
--sbin-path=/Users/sky/all/web/nginx/bin/nginx \
--with-cc-opt='-I/usr/local/opt/pcre/include -I/usr/local/opt/openssl/include' \
--with-ld-opt='-L/usr/local/opt/pcre/lib -L/usr/local/opt/openssl/lib' \
--conf-path=/Users/sky/all/web/nginx/nginx.conf \
--pid-path=/Users/sky/all/web/nginx/run/nginx.pid \
--lock-path=/Users/sky/all/web/nginx/run/nginx.lock \
--http-client-body-temp-path=/Users/sky/all/web/nginx/run/nginx/client_body_temp \
--http-proxy-temp-path=/Users/sky/all/web/nginx/run/nginx/proxy_temp \
--http-fastcgi-temp-path=/Users/sky/all/web/nginx/run/nginx/fastcgi_temp \
--http-uwsgi-temp-path=/Users/sky/all/web/nginx/run/nginx/uwsgi_temp \
--http-scgi-temp-path=/Users/sky/all/web/nginx/run/nginx/scgi_temp \
--http-log-path=/Users/sky/all/web/nginx/log/access.log \
--error-log-path=/Users/sky/all/web/nginx/log/error.log \
--with-http_gzip_static_module \
--with-http_v2_module \
--with-http_addition_module \
--add-module=/Users/sky/all/source/nginx/ngx-fancyindex \
--add-module=/Users/sky/all/source/nginx/fastdfs-nginx-module/src

    说明:

    1. --prefix=/Users/sky/all/web/nginx : nginx 主目录
    2. --sbin-path=/Users/sky/all/web/nginx/bin/nginx : nginx 的可执行文件
    3. --conf-path=/Users/sky/all/web/nginx/nginx.conf :nginx 的配置文件
    4. --http-log-path=/Users/sky/all/web/nginx/log/access.log :访问日志
    5. --error-log-path=/Users/sky/all/web/nginx/log/error.log :错误日志
    6. --add-module=/Users/sky/all/source/nginx/ngx-fancyindex :一个 nginx 目录美化插件,教程地址:nginx目录列表及美化
    7. --add-module=/Users/sky/all/source/nginx/fastdfs-nginx-module/src : fastdfs-nginx-module,插件目录

  2. 安装

    make & make install

  3. 修改 nginx 的配置文件

    subl /Users/sky/all/web/nginx/nginx.conf

server {
listen       8080;
server_name  localhost;

location / {
root   html;
index  index.html index.htm;
}

location /download{
# 目录美化配置
include /Users/sky/all/web/nginx/html/Nginx-Fancyindex-Theme/fancyindex.conf; 
alias /Users/sky/Downloads; #指定目录所在路径
autoindex on; #开启目录浏览
autoindex_format html; #以html风格将目录展示在浏览器中
autoindex_exact_size off; #切换为 off 后，以可读的方式显示文件大小，单位为 KB、MB 或者 GB
autoindex_localtime on; #以服务器的文件时间作为显示的时间
charset utf-8,gbk; #展示中文文件名
}

location /group1/M00 {
alias /Users/sky/all/web/fastdfs/store/data;
ngx_fastdfs_module;
}

#error_page  404              /404.html;

# redirect server error pages to the static page /50x.html
#
error_page   500 502 503 504  /50x.html;
location = /50x.html {
root   html;
}

    ​

  4. 修改/etc/fdfs/mod_fastdfs.conf

    #存放 mod_fastdfs 日志的位置,不重要
base_path=/Users/sky/all/web/fastdfs/base/fastdfs-nginx-module
#设置 tracker_server 的地址
tracker_server=localhost:22122
#设置该 storage 所属组
group_name=group1
#url 访问路径. false 为: /M00/00/xxx. true 为/group1/M00/00/XXX
url_have_group_name = true
#必须与 storage.conf 中的配置相同
store_path0=/Users/sky/all/web/fastdfs/store

    ​

  5. 创建符号链接

    ln -s /Users/sky/all/web/fastdfs/store/data  /Users/sky/all/web/fastdfs/store/data/M00

  6. 用上面的测试结果测试:

测试结果

7. 安装 fastdht

  1. 下载fastdht

    git clone https://github.com/happyfish100/fastdht.git

  2. 下载berkeley-db

    wget http://download.oracle.com/berkeley-db/db-4.7.25.tar.gz

    该版本比较旧了,不过fastdht中的文档使用的是这个版本,能用就行.

  3. 安装berkeley-db

    tar xzf db-4.7.25.tar.gz
cd db-4.7.25/build_unix
../dist/configure --prefix=/Users/sky/all/db/berkeley-4.7.25
make; make install

    我指定了berkeley-db安装到其他位置.

  4. 编译安装fastdht

    • 修改 make.sh
    TARGET_PREFIX=/Users/sky/all/web/fdht
TARGET_CONF_PATH=/Users/sky/all/web/fdht/conf

CFLAGS='-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I/Users/sky/all/db/berkeley-4.7.25/include/ -L/Users/sky/all/db/berkeley-4.7.25/lib/'

    cd FastDHT
./make.sh; sudo ./make.sh install

    ​

    说明:

    1. TARGET_PREFIX=/Users/sky/all/web/fdht安装位置
    2. TARGET_CONF_PATH=/Users/sky/all/web/fdht/conf配置文件位置
    3. CFLAGS='-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I/Users/sky/all/db/berkeley-4.7.25/include/ -L/Users/sky/all/db/berkeley-4.7.25/lib/' berkeley的安装目录位置,注意写法
    4. ./make.sh install时,会有文件到链接到/usr目录中去,需要root 权限.所以使用sudo 圆形

  5. 配置

    • 修改fdfhd.conf

         # the base path to store data and log files
   # 日志和数据文件位置
   base_path=/Users/sky/all/web/fdht/fastdht

   #引用fdht_servers.conf,注意 :  include 语法,不适用的话要加两个 ## 
   #include /Users/sky/all/web/fdht/conf/fdht_servers.conf

    • 修改fdht_servers.conf

      group_count = 1
group0 = 192.168.1.103:11411

    • 修改fdht-client.conf

      #modify
keep_alive=1
#modify
base_path=/Users/sky/all/web/fdht/fastdht-client

#include /Users/sky/all/web/fdht/conf/fdht_servers.conf

      ​

  6. 启动

    /Users/sky/all/web/fdht/bin/fdhtd /Users/sky/all/web/fdht/conf/fdhtd.conf restart

  7. 测试

    /Users/sky/all/web/fdht/bin/fdht_test /Users/sky/all/web/fdht/conf/fdht_client.conf

    mac 下用这个命令测试会有错.直接使用上传测试

  8. 上传一个文件

    /Users/sky/all/web/fastdfs/bin/fdfs_upload_file /etc/fdfs/client.conf /Users/sky/Pictures/pretty.jpg

    返回结果:

    group1/M00/00/00/wKgBZ1rjRm2ANoTIAAAiJjMA_kk080.jpg

    这时在/Users/sky/all/web/fastdfs/store/data/00目录发现有两个文件. 分别是:wKgBZ1rjRm2AYrHAAAAiJgI2OLI775.jpg和wKgBZ1rjRm2ANoTIAAAiJjMA_kk080.jpg

    其中wKgBZ1rjRm2ANoTIAAAiJjMA_kk080.jpg时指向wKgBZ1rjRm2AYrHAAAAiJgI2OLI775.jpg的链接.可以多上传几次尝试.

  9. 删除刚才上传的文件.

    /Users/sky/all/web/fastdfs/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgBZ1rjRm2ANoTIAAAiJjMA_kk080.jpg

    结束是wKgBZ1rjRm2AYrHAAAAiJgI2OLI775.jpg和wKgBZ1rjRm2ANoTIAAAiJjMA_kk080.jpg都被删除了.

  10. 总结: fastdht确实起到了文件去重的效果.文件只保留一份,继续上传相同的文件会创建文件的链接.如果最后一个链接被删除的时候,原文件也会被删除.

​

转载于:https://my.oschina.net/u/930279/blog/1802338

weixin_34405354
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mac中FastDFS与nginx安装
weixin_42679761的博客
11-10 178
配置了大半天，出现了些bug，做一个简单的记录 1.下载安装包和依赖 链接:https://pan.baidu.com/s/1hJev2o6dbbtgskZFmq0RiA 密码:kni8 2.在mac中需要解除安全限制，默认的情况下是不能操作系统目录的 重启电脑，并按下command + R 进入到调试模式，打开终端，输入csrutil disable，解除安全限制 重启 如果要恢复就输入 c...
Linux上安装FastDFS+nginx+fastDHT 详细教程&含安装包.zip
12-21
该资源提供了linux 平台集成安装fastDFS、nginx、fastDHT的详细指导教程，还包含了所有涉及到的安装包，已考虑各组件间兼容性问题，欢迎感兴趣的小伙伴下载。
Mac安装FastDFS
u013938578的博客
02-21 710
libfastcommon:https://github.com/happyfish100/libfastcommon.git fastdfs:https://github.com/happyfish100/fastdfs.git nginx:http://nginx.org/download/nginx-1.12.2.tar.gz fastdfs-nginx-module:ht...
Mac上如何安装FastDFS_v5.02
chuangfankuang0896的博客
09-27 138
方法是别人提供给我但，但我还时间测试，先记录下。 安装最新的5.02版本，需要对 make.sh 做一点小修改具体如下：1、在make.sh的84行左右添加一个操作系统的判断，mac使用的是kqueue，其中的Darwin根据自己系统uname结果填写elif [ "$uname" = "D...
FastDFS安装（mac）｜文件存储方案
Bert-Sun的博客
05-14 567
文章目录FastDFS安装（mac）｜文件存储方案1 FastDFS介绍1.1 **FastDFS架构**1.2 工作原理实例介绍1.3 FastDFS上传和下载流程1.4 FastDFS文件索引2 FastDFS安装（mac）2.1 安装包2.2 安装libfastcommon2.3 安装FastDFS2.4 相关文件配置2.5 client.conf配置文件修改 FastDFS安装（mac）｜文件存储方案 在我们进行相关项目开发时，肯定会遇到需要进行文件保存的需求。那么这些文件（如图片）保存到哪里呢？
fastdfs-nginx-module-1.24
最新发布
02-07
《FastDFS-Nginx-Module 1.24：高效文件服务器集成详解》 FastDFS-nginx-module 1.24 是一个针对 FastDFS 文件系统的 Nginx 模块，它使得 Nginx 可以无缝地与 FastDFS 集成，提供了高效的文件上传、下载服务。这一...
fastdfs-nginx-module-1.20.zip
02-09
本文将详细解析如何将FastDFS的Nginx模块（fastdfs-nginx-module-1.20.zip）安装并配置到Nginx中，实现高效、稳定的服务。 首先，确保你已经安装了FastDFS和Nginx的基础环境。FastDFS提供了数据存储和文件管理的...
最新版linux fastdfs-nginx-module-1.22.tar.gz
04-16
Linux FastDFS-Nginx-Module 1.22 是一个专为Linux系统设计的高性能、高可用性的文件存储和分发系统，它结合了FastDFS文件服务器和Nginx网络服务器的功能，使得在Web环境中部署文件服务变得更为便捷。这个版本的模块...
fastdfs-nginx-module-1.22.zip
02-09
在安装FastDFS-Nginx-Module 1.22时，首先需要确保已经安装了FastDFS和Nginx的基础环境。然后，解压fastdfs-nginx-module-1.22.zip文件，将模块源码添加到Nginx的源码目录，一同编译安装。编译过程中需注意指定...
fastdfs-nginx-module-master.zip
11-28
这个压缩包中的"fastdfs-nginx-module-master"目录很可能是FastDFS-Nginx模块的源代码仓库，包含了所有必要的文件和配置，用于编译和安装这个模块，使得Nginx能够直接处理FastDFS的文件请求，提高系统的响应速度和...
fastdfs-nginx-module1.20
06-17
Version 1.20 2017-05-26
【Mac-Docker】FastDFS 文件存储系统的安装与使用
大神的追求者
09-02 247
Mac平台的 Docker 环境，安装 FastDFS 文件存储系统的使用
MAC中docker搭建fastdfs
weixin_44502835的博客
02-20 574
GROUP_NAME=group1是storage的组名，若新增storage节点可以改成group2。因为Mac系统网络不支持host模式，因此要使用第二种方式构建。因为Mac系统网络不支持host模式，因此要使用第二种方式构建。如果容器创建错误，先停掉容器：docker stop 容器ID。（三） 创建storage和tracker容器。2:通过Docker搭建fastdfs。打开终端通命令查找fastdfs的镜像。然后移除：docker rm 容器ID。2.进入storage容器。
Mac系统通过Docker搭建FastDFS
weixin_42466157的博客
10-12 907
Mac系统通过Docker部署FastDFS遇到的一些问题和SpringBoot集成FastDFS
FastDFS与Nginx集成
weixin_39453325的博客
10-05 1193
最近考虑在项目中使用文件服务器来存储图片文件，FastDFS 是一个开源的轻量级的分布式文件系统，由 tracker server(跟踪服务器) 、storage server(存储服务器) 、client(客户端) 三部分组成，主要解决了海量数据存储问题，特别适合中小文件( 4KB<file_size<500MB)为载体的服务。FastDFS 的集群搭建比较复杂，对于想要学习 Fas...
FastDFS集群搭建、Nginx集成FastDFS、FastDHT文件去重、集成FastDHT、SpringBoot集成FastDFS
weixin_45764675的博客
03-29 438
资源下载安装 1.安装依赖包libfastcommon V1.0.35.tar.gz
FastDFS+Ngix的集成+FastDHT去重
@xiao黑的博客
03-21 933
FastDFS分布式文件系统 特点 开源的轻量级分布式文件系统 纯粹C语言实现 支持Linux FreeBSD等unix系统 类似CoogleFs/HDFS 但是不是通用的文件系统 只能通过专有的API访问 目前提供了C Java和PHPAPI 高性能,高扩展 不仅可以存储文件,还可以存储文件的元数据信息 架构 FastDFS架构中有client tracker 和 storage服务 ...
Mac OSX 安装FastDFS:
weixin_34198453的博客
10-31 915
2019独角兽企业重金招聘Python工程师标准>>> ...
macOS Catalina 10.15.4 搭建FASTDFS图片服务器
doing_now的博客
04-07 527
macOS Catalina 10.15.4 搭建FASTDFS图片服务器首先准备对应的安装包第一步 准备环境第二步 文件夹初始化第三步 安装 libfastcommon-1.0.43.tar.gz第四步 安装fastdfs-6.06.tar.gz第五步 配置tracker第六步 配置storage第七步 安装Nginx的准备第八步 在storage中安装Nginx第九步 测试上传结尾 首先准备对...
编译安装 Nginx（添加 fastdfs-nginx-module 模块）异常
05-24
如果您在编译安装 Nginx 并添加 fastdfs-nginx-module 模块时遇到异常，可以尝试以下步骤： 1. 确认系统中已经安装了 fastdfs-client 和 libfastcommon 库，并且添加了相应的软链接。 2. 下载 fastdfs-nginx-module 模块，并将其解压到 Nginx 的源码目录下的“/modules”文件夹中。例如： ``` wget https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip unzip master.zip mv fastdfs-nginx-module-master /path/to/nginx/source/modules/ ``` 3. 进入 Nginx 的源码目录，执行 configure 命令进行编译配置，并添加 fastdfs-nginx-module 模块： ``` ./configure --prefix=/usr/local/nginx \ --add-module=./modules/fastdfs-nginx-module-master/src \ --with-http_ssl_module \ --with-http_stub_status_module \ --with-http_gzip_static_module ``` 4. 执行 make 命令进行编译，在编译过程中如遇到异常可以根据提示进行处理。 5. 执行 make install 命令进行安装，安装成功后可以在 Nginx 的配置文件中添加 fastdfs 相关配置，例如： ``` location /group1/M00 { ngx_fastdfs_module; } ``` 以上是编译安装 Nginx 并添加 fastdfs-nginx-module 模块的一般步骤，如有具体异常信息可以提供更多细节信息以便更好的解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值