replica文件服务器,seaweedfs文件存储服务器搭建

最新推荐文章于 2024-08-26 13:12:55 发布

沃特JS

最新推荐文章于 2024-08-26 13:12:55 发布

阅读量357

点赞数 1

文章标签： replica文件服务器

概述

seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目。它是用来存储文件的系统，并且与使用的语言无关，使得文件储存在云端变得非常方便。

在逻辑上Seaweedfs的几个概念：

Node 系统抽象的节点，抽象为DataCenter、Rack、DataNode

DataCenter 数据中心，对应现实中的不同机房

Rack 机架，对应现实中的机柜

Datanode 存储节点，用于管理、存储逻辑卷

Volume 逻辑卷，存储的逻辑结构，逻辑卷下存储Needle

Needle 逻辑卷中的Object，对应存储的文件

Collection 文件集，可以分布在多个逻辑卷上

一. 安装go环境

安装规划

master: 172.16.20.71

volume:

172.16.20.71*3

172.16.20.72*2

查看系统位数

getconf LONG_BIT

选择对应的版本下载

cd /usr/local

# 下载

wget https://golangtc.com/static/go/1.9.2/go1.9.2.linux-amd64.tar.gz

# 将其传到其他两台机器

# 解压 tar -zxf go1.9.2.linux-amd64.tar.gz # 配置 vim /etc/profile #加入 export GOPATH=/opt/go export GOROOT=/usr/local/go export GOOS=linux export GOBIN=$GOROOT/bin export GOTOOLS=$GOROOT/pkg/tool/ export PATH=$PATH:$GOBIN:$GOTOOLS # 使配置文件生效 source /etc/profile # 查看 go version

安装git mercurial

yum install -y mercurial git

二. 安装seaweedfs

1. 下载

cd /usr/local

https://github.com/chrislusf/seaweedfs/releases/选择对应的版本

wget https://github.com/chrislusf/seaweedfs/releases/download/0.96/linux_amd64.tar.gz

2. 解压

tar -zxf linux_amd64.tar.gz

3. ./weed -h 查看帮助

4. 创建运行需要的目录

/root/sea/data

/root/sea/vol/vol[1-3]

/root/sea/logs

5. 配置运行master

nohup /usr/local/weed master -mdir=/root/sea/data -port=9333 -defaultReplication="001" -ip="172.16.20.71" &>> /root/sea/logs/master.log &

6. 配置运行volume

# 172.16.20.71

/usr/local/weed volume -dir=/root/sea/vol/vol1 -mserver="172.16.20.71:9333" -port=8081 -ip="172.16.20.71" &>>/root/sea/logs/vol1.log &

/usr/local/weed volume -dir=/root/sea/vol/vol2 -mserver="172.16.20.71:9333" -port=8082 -ip="172.16.20.71" &>>/root/sea/logs/vol1.log & /usr/local/weed volume -dir=/root/sea/vol/vol3 -mserver="172.16.20.71:9333" -port=8083 -ip="172.16.20.71" &>>/root/sea/logs/vol1.log & # 172.16.20.72 /usr/local/weed volume -dir=/root/sea/vol/vol1 -mserver="172.16.20.71:9333" -port=8081 -ip="172.16.20.72" &>>/root/sea/logs/vol1.log & /usr/local/weed volume -dir=/root/sea/vol/vol2 -mserver="172.16.20.71:9333" -port=8082 -ip="172.16.20.72" &>>/root/sea/logs/vol1.log & /usr/local/weed volume -dir=/root/sea/vol/vol3 -mserver="172.16.20.71:9333" -port=8083 -ip="172.16.20.72" &>>/root/sea/logs/vol1.log &

7. 上传文件测试

文件上传首先需要请求master, 去分配一个逻辑卷和fid

curl http://172.16.20.71:9333/dir/assign

返回结果

{"fid":"3,57f4e1098c93","url":"172.16.20.71:8082","publicUrl":"172.16.20.71:8082","count":1}

使用返回的url和fid上传文件

curl -F "file=/home/hufengjiu/ka.jpg" 172.16.20.71:8082/3,57f4e1098c93

可以这么理解, 上传文件, 首先请求master分配volume和fid, 然后将文件上传到某个卷下

wget 172.16.20.71:8082/3,57f4e1098c93 可以将该图片文件下载下来,

也可以在浏览器直接访问

172.16.20.71:8082/3,57f4e1098c93

也可以指定图片大小

172.16.20.71:8082/3,57f4e1098c93?width=100&height=20

查看卷目录

3545866

image.png

因为我已经上传了很多文件, 所以这个目录很大, 仔细观察, 每一组都是有dat和idx组成, dat是数据部分,idx是索引部分

python版本: python2.7

pip安装

pip install python-weed

# 需要的依赖库

pip install requests

pip install conf

使用

将/root/hufengjiu/pic目录下所有的图片文件上传, 代码如下

# ** -- coding: utf-8 -- **

#!/usr/bin/env python

from weed.master import WeedMaster

from weed.volume import WeedVolume import glob import os.path as op # 获取pic目录下所有图片文件 globlist = glob.glob(r"/root/hufengjiu/pic/*/*.[png|jpg|jpeg]*") print len(globlist) master = WeedMaster(host='172.16.20.71') urls = [] results = [] for i in globlist: #分配volume和fid assign = master.get_assign_key() host_port = assign['url'].split(':') url = assign['url'] + '/' + assign['fid'] volume = WeedVolume(host=host_port[0], port=int(host_port[1])) #上传图片 if op.isfile(i): result = volume.put_file(i, assign['fid']) urls.append(url) results.append(result) # 将所有的图片url保存起来 print urls

五. 配置运行Filer并挂载到本地目录

1. 安装启动

生成配置文件

mkdir -p /etc/seaweedfs

cd /etc/seaweedfs

touch filer.toml

mkdir -p /root/sea/filer_path/level

将/usr/local/weed scaffold filer -output=""打印出的内容写入到 filer.toml中, 并且修改其中的配置

dir = "/root/sea/filer_path/level"

可以使用文件, MySQL, redis等保存 filer metadata, 只需要启用或者停用对应的配置

启动

/usr/local/weed filer -master=172.16.20.71:9333 -ip=172.16.20.71 -defaultReplicaPlacement='001'&