leofs 安装部署

最新推荐文章于 2024-04-24 10:01:43 发布
最新推荐文章于 2024-04-24 10:01:43 发布
阅读量2.4k 收藏 2
点赞数 2
分类专栏： 对象存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012473280/article/details/73614206
版权

centos leofs 配置

1. leofs cluster 基本规划
 Manager
 IP: 10.39.1.23, 10.39.1.24
 Name: manager_0@10.39.1.23, manager_1@10.39.1.24
 Gateway
 IP: 10.39.1.28
 Name: gateway_0@10.39.1.28
 Storage
 IP: 10.39.1.25 .. 10.39.1.26  ... 10.39.1.27
 Name: storage_01@10.39.1.25 .. storage_02@10.39.1.26...storage_02@10.39.1.27

（需要将iptables selinux 防火墙关闭）

2 leofs 介绍
LeoFS是一个非结构化的Web对象存储和高可用的，分布式的，最终一致的存储系统

 10.39.1.23   c6qPkWB9sCk8
3 安装部署
10.39.1.23 上配置 
 1.机器列表
   修改主机名以及hosts 
   10.39.1.23       leofs_01 
   10.39.1.24       leofs_02 
   10.39.1.25       storage_01 
   10.39.1.26       storage_02 
   10.39.1.27       storage_03 
   10.39.1.28       gw_01 

 2.安装ansible

 yum install epel-release -y 
 yum install ansible -y
 3.配置ansible

 vim  /etc/ansible/hosts  

 4.编辑所有服务器配置主机名
  vim /etc/hostname 
  vim /etc/hosts 

 5.生成key  
   ssh-keygen   

   ansible 推送key 到其他服务器
   ansible all -m authorized_key -a "user=root  key='{{ lookup('file','~/.ssh/id_rsa.pub')}}'"  

6.安装依赖的软件包 
ansible leofs -m shell -a "yum install gcc gcc-c++ glibc-devel make ncurses-devel     openssl-devel autoconf  libuuid-devel cmake check check-devel   wget curl git gcc* vim nc -y " 

7.验证 
 ansible leofs -m shell  -a "hostname" 
 ansible leofs -m shell  -a "cat /etc/hosts"   



8.下载leofs 包 
 http://leo-project.net/leofs/download.html  
 下载centos 7 1.3.2.1 最新rpm包
 将rpm copy 到其他服务器
 ansible all -m copy -a 'src=~/leofs-1.3.2.1-1.erl-18.3.el7.x86_64.rpm dest=/opt' 
 ansible all -m shell -a 'ls -l /opt'   
 ansible all -m shell -a 'cd /opt/; yum install leofs-1.3.2.1-1.erl-18.3.el7.x86_64.rpm -y'
3.1 存储节点安装
ansible leofs_storage -m shell -a "yum --enablerepo=centosplus install kmod-xfs xfsprogs xfsprogs-devel -y"

 1. 查看安装目录是否全部安装
 ansible all -m shell -a 'ls -l /usr/local/leofs'
4 配置leofs
10.39.1.23 配置manger0
  manager0 中会配置一致性的级别和集群的id 以及名称
1. leofs 一致性级别配置参考
  相关资料参考 http://leo-project.net/leofs/docs/configuration/configuration_1.html#system-configuration-label  
A reference consistency level
Level   Configuration
Low n = 3, r = 1, w = 1, d = 1
Middle  n = 3, [r = 1 | r = 2], w = 2, d = 2
High    n = 3, [r = 2 | r = 3], w = 3, d = 3

 2. 编辑文件 
cp /usr/local/leofs/1.3.2.1/leo_manager_0/etc/leo_manager.conf /usr/local/leofs/1.3.2.1/leo_manager_0/etc/leo_manager.conf.bak 
vim  /usr/local/leofs/1.3.2.1/leo_manager_0/etc/leo_manager.conf

manager.partner = manager_1@10.39.1.24

system.dc_id = dc_1
system.cluster_id = leofs_cluster    # 集群名字
consistency.num_of_replicas = 3      # 集群的副本集
consistency.write = 1
consistency.read = 1
consistency.delete = 1
consistency.rack_aware_replicas = 0
nodename = manager_0@10.39.1.23
10.39.1.24 manger1 配置
1. 编辑文件
 cp /usr/local/leofs/1.3.2.1/leo_manager_1/etc/leo_manager.conf /usr/local/leofs/1.3.2.1/leo_manager_1/etc/leo_manager.conf.bak 
 vim  /usr/local/leofs/1.3.2.1/leo_manager_1/etc/leo_manager.conf  
    manager.partner = manager_0@10.39.1.23 
    nodename = manager_1@10.39.1.24
10.39.1.25 storage_01配置
返回到10.39.1.23 上使用ansible 对配置文件进行备份
ansible leofs_storage -m shell -a "cp /usr/local/leofs/1.3.2.1/leo_storage/etc/leo_storage.conf /usr/local/leofs/1.3.2.1/leo_storage/etc/leo_storage.conf.bak "  

1. leofs 建议使用xfs，因为xfs I/O对大文件支持比较好 
    添加一块硬盘并且格式化为xfs 文件系统

    fdisl /dev/vdc   
    n
    p
    w

   mkfs.xfs /dev/vdc1
   添加到fstab 
   vim  /etc/fstab 
   /dev/sda3   /mnt/xfs   xfs   noatime,nodiratime,osyncisdsync 0 0  
   vim   /usr/local/leofs/1.3.2.1/leo_storage/etc/leo_storage.conf
   managers = [manager_0@10.39.1.23, manager_1@10.39.1.24]
   obj_containers.path = [/data/leofs]
   obj_containers.num_of_containers = [8]
读写参数的一些设置
  磁盘的一些设置
  ##  Watchdog.DISK
  ## Is disk-watchdog enabled - default:false
  watchdog.disk.is_enabled = false
  ## disk - raised error times
  watchdog.disk.raised_error_times = 5

  ## disk - watch interval - default:1sec
  watchdog.disk.interval = 10

  ## Threshold use(%) of a target disk's capacity - defalut:85%
  watchdog.disk.threshold_disk_use = 85

   ## Threshold disk utilization(%) - defalut:90% 
  watchdog.disk.threshold_disk_util = 90


 ## Threshold disk read kb/sec - defalut:98304(KB) = 96MB
 #watchdog.disk.threshold_disk_rkb = 98304
 #131072kb=128MB
 watchdog.disk.threshold_disk_rkb = 131072

## Threshold disk write kb/sec - defalut:98304(KB) = 96MB
#watchdog.disk.threshold_disk_wkb = 98304
#131072(kb)=128MB
watchdog.disk.threshold_disk_wkb = 131072


nodename = storage_01@10.39.1.25 

配置也可以参考 
leofs 存储默认可以设置多个
## e.g. Case of plural pathes
## obj_containers.path = [/var/leofs/avs/1, /var/leofs/avs/2]
## obj_containers.num_of_containers = [32, 64]
10.39.1.26 storage02 配置
mkfs.xfs /dev/vdc1
vim  /usr/local/leofs/1.3.2.1/leo_storage/etc/leo_storage.conf 

managers = [manager_0@10.39.1.23, manager_1@10.39.1.24]
obj_containers.path = [/data/leofs]
obj_containers.num_of_containers = [8]

nodename = storage_02@10.39.1.26
10.39.1.27 storage03 配置
mkfs.xfs /dev/vdc1   

vim   /usr/local/leofs/1.3.2.1/leo_storage/etc/leo_storage.conf 

managers = [manager_0@10.39.1.23, manager_1@10.39.1.24]
obj_containers.path = [/data/leofs]
obj_containers.num_of_containers = [8]

nodename = storage_03@10.39.1.27
10.39.1.23
返回到10.39.1.23 上使用ansible 批量执行

ansible leofs_storage -m shell -a "mkdir /data/leofs -p "

ansible leofs_storage -m shell -a "ls /data/" 

ansible leofs_storage -m shell -a "mount /dev/vdc1 /data/leofs" 

ansible leofs_storage -m shell -a "df -h"


echo "/dev/vdc1   /data/leofs   xfs        noatime,nodiratime,osyncisdsync 0 0"   >> /etc/fstab   

ansible leofs_storage -m shell -a 'echo "/dev/vdc1   /data/leofs   xfs   noatime,nodiratime,osyncisdsync 0 0"   >> /etc/fstab'



将storage01 02  03 重启   
查看存储是否挂载成功
 ansible leofs_storage -m shell -a "df -h"
gw_01 10.39.1.28 配置
 网关配置协议  端口   网关的缓存大小 
 vim   /usr/local/leofs/1.3.2.1/leo_gateway/etc/leo_gateway.conf  
 managers = [manager_0@10.39.1.23, manager_1@10.39.1.24]
 protocol = s3
 http.port = 8080
 cache.cache_ram_capacity = 268435456
 cache.cache_disc_capacity = 0
 cache.cache_expire = 300
 cache.cache_max_content_len = 1048576
 nodename = gateway_01@10.39.1.28


# 网关配置线程池 
## Large Object Handler - put worker pool size
large_object.put_worker_pool_size = 64

## Large Object Handler - put worker buffer size
large_object.put_worker_buffer_size = 32
## Memory cache capacity in bytes
cache.cache_ram_capacity = 0

## Disk cache capacity in bytes
cache.cache_disc_capacity = 0

## When the length of the object exceeds this value, store the object on disk
cache.cache_disc_threshold_len = 1048576

## Directory for the disk cache data
 cache.cache_disc_dir_data = ./cache/data

## Directory for the disk cache journal
cache.cache_disc_dir_journal = ./cache/journal
启动顺序
Order of server launch
Manager-master
Manager-slave
Storage nodes
Gateway(s)


10.39.1.23  manager0 
/usr/local/leofs/1.3.2.1/leo_manager_0/bin/leo_manager start   
/usr/local/leofs/1.3.2.1/leo_manager_0/bin/leo_manager ping  
pong  
10.39.1.24  manager1 
/usr/local/leofs/1.3.2.1/leo_manager_1/bin/leo_manager start  
/usr/local/leofs/1.3.2.1/leo_manager_1/bin/leo_manager ping 
pong

10.39.1.25  storage01 
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage start  
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage ping 
pong

10.39.1.26  storage02 
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage start 
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage ping 
pong

10.39.1.27  storage03 
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage start 
/usr/local/leofs/1.3.2.1/leo_storage/bin/leo_storage ping 
pong
启动状态验证
 查看存储的启动信息
ansible leofs_storage -m shell -a "ls -l /data/leofs"
 10.39.1.26 | SUCCESS | rc=0 >> 
 总用量 12
drwxr-xr-x  2 root root 4096 3月  30 16:00 log
drwxr-xr-x 10 root root 4096 3月  30 15:24 metadata
drwxr-xr-x  2 root root  310 3月  30 15:18 object
drwxr-xr-x  2 root root 4096 3月  30 15:24 state

10.39.1.25 | SUCCESS | rc=0 >>
总用量 12
drwxr-xr-x  2 root root 4096 3月  30 16:00 log
drwxr-xr-x 10 root root 4096 3月  30 15:23 metadata
drwxr-xr-x  2 root root  310 3月  30 15:04 object
drwxr-xr-x  2 root root 4096 3月  30 15:23 state

10.39.1.27 | SUCCESS | rc=0 >>
总用量 4
drwxr-xr-x  2 root root 4096 3月  30 16:00 log
drwxr-xr-x 10 root root  246 3月  30 15:19 metadata
drwxr-xr-x  2 root root  310 3月  30 15:19 object



在10.39.1.23 上执行查看集群的状态

集群的状态查询是经过nmap 通信查询的， 需要在各个节点下安装nc 

ansible leofs -m shell -a "yum install nc -y "  

/usr/local/leofs/1.3.2.1/leofs-adm status


/usr/local/leofs/1.3.2.1/leofs-adm status 
[System Confiuration]
-----------------------------------+----------
 Item                              | Value    
-----------------------------------+----------
Basic/Consistency level
-----------------------------------+----------
                system version | 1.3.2
                    cluster Id | leofs_cluster
                         DC Id | dc_1
                Total replicas | 3
      number of successes of R | 1
      number of successes of W | 1
      number of successes of D | 1
number of rack-awareness replicas | 0
                     ring size | 2^128
-----------------------------------+----------
   Multi DC replication settings
 -----------------------------------+----------
    max number of joinable DCs | 2
       number of replicas a DC | 1
-----------------------------------+----------
 Manager RING hash
-----------------------------------+----------
             current ring-hash | 
            previous ring-hash | 
-----------------------------------+----------

[State of Node(s)]
-------+----------------------------+--------------+---------------- +----------------+----------------------------
type  |            node            |    state     |  current ring  |   prev ring    |          updated at         
 -------+----------------------------+--------------+----------------+----------------+----------------------------
S    | storage_01@10.39.1.25      | attached     |                |                 | 2017-03-30 15:24:56 +0800
S    | storage_02@10.39.1.26      | attached     |                |                | 2017-03-30 15:24:43 +0800
S    | storage_03@10.39.1.27      | attached     |                |                | 2017-03-30 15:19:22 +0800
-------+----------------------------+--------------+----------------



启动网关
10.39.1.28  

/usr/local/leofs/1.3.2.1/leo_gateway/bin/leo_gateway start  

/usr/local/leofs/1.3.2.1/leo_gateway/bin/leo_gateway ping  
pong



存储驱动启动
10.39.1.23 leofs

/usr/local/leofs/1.3.2.1/leofs-adm start 
Generating RING...
Generated RING
OK  33% - storage_01@10.39.1.25
OK  67% - storage_03@10.39.1.27
OK 100% - storage_02@10.39.1.26
OK


/usr/local/leofs/1.3.2.1/leofs-adm status 
[System Confiuration]
-----------------------------------+----------
Item                              | Value    
-----------------------------------+----------
 Basic/Consistency level
-----------------------------------+----------
                system version | 1.3.2
                    cluster Id | leofs_cluster
                         DC Id | dc_1
                Total replicas | 3
      number of successes of R | 1
      number of successes of W | 1
      number of successes of D | 1
number of rack-awareness replicas | 0
                     ring size | 2^128
-----------------------------------+----------
 Multi DC replication settings
-----------------------------------+----------
    max number of joinable DCs | 2
       number of replicas a DC | 1
-----------------------------------+----------
Manager RING hash
-----------------------------------+----------
             current ring-hash | 
            previous ring-hash | 
 -----------------------------------+----------

 [State of Node(s)]
 -------+----------------------------+--------------+----------------  +----------------+----------------------------
 type  |            node            |    state     |  current ring  |     prev ring    |          updated at         
-------+----------------------------+--------------+----------------
 S    | storage_01@10.39.1.25      | running      | 79e0dbc4       | 79e0dbc4       | 2017-03-30 15:29:17 +0800
 S    | storage_02@10.39.1.26      | running      | 79e0dbc4       | 79e0dbc4       | 2017-03-30 15:29:17 +0800
 S    | storage_03@10.39.1.27      | running      | 79e0dbc4       | 79e0dbc4       | 2017-03-30 15:29:17 +0800
 G    | gateway_01@10.39.1.28      | running      | 79e0dbc4       | 79e0dbc4       | 2017-03-30 15:29:18 +0800
-------+----------------------------+--------------+----------------
leofs 对象存储的配置和查询
s3-api 命令使用

http://leo-project.net/leofs/docs/admin_guide/admin_guide_8.html

用户查询
get-users
/usr/local/leofs/1.3.2.1/leofs-adm get-users
user_id     | role_id | access_key_id          | created_at                
------------+---------+------------------------+---------------------------
_test_leofs | 9       | 05236                  | 2017-03-30 15:03:54 +0800

删除默认的用户
delete-user <user-id>
/usr/local/leofs/1.3.2.1/leofs-adm delete-user _test_leofs 
OK

创建用户
create-user <user-id> <password>

/usr/local/leofs/1.3.2.1/leofs-adm create-user test test
access-key-id: 919ca38e3fb34085b94a
secret-access-key: 387d7f32546982131e41355e1adbcae1a9b08bec

/usr/local/leofs/1.3.2.1/leofs-adm get-users
user_id | role_id | access_key_id          | created_at                
--------+---------+------------------------+---------------------------
 test    | 1       | 919ca38e3fb34085b94a   | 2017-03-30 15:45:41 +0800


endpoint  
/usr/local/leofs/1.3.2.1/leofs-adm add-endpoint 10.39.1.28
OK

/usr/local/leofs/1.3.2.1/leofs-adm get-endpoints
endpoint         | created at                
-----------------+---------------------------
10.39.1.28       | 2017-03-30 15:49:14 +0800
localhost        | 2017-03-30 15:03:54 +0800
s3.amazonaws.com | 2017-03-30 15:03:54 +0800



add-bucket <bcuket> <access-key-id>

/usr/local/leofs/1.3.2.1/leofs-adm add-bucket abc 919ca38e3fb34085b94a
OK

/usr/local/leofs/1.3.2.1/leofs-adm get-buckets
cluster id    | bucket   | owner  | permissions      | redundancy method            | created at                
--------------+----------+--------+------------------+------------------------------+---------------------------
leofs_cluster | abc      | test   | Me(full_control) | copy, {n:3, w:1, r:1, d:1}   | 2017-03-30 15:51:43 +0800


get-bucket <access-key-id>




权限
/usr/local/leofs/1.3.2.1/leofs-adm  update-acl abc 919ca38e3fb34085b94a    public-read-write
OK




查看存储节点的磁盘信息
/usr/local/leofs/1.3.2.1/leofs-adm  du detail storage_01@10.39.1.25

/usr/local/leofs/1.3.2.1/leofs-adm  status  storage_01@10.39.1.25
性能压测
leofs 性能测试工具  basho_bench

https://github.com/basho/basho_bench

10.39.1.23  安装
安装性能测试工具
git clone https://github.com/leo-project/basho_bench.git
cd basho_bench/ 
make all 
# make all 的时候使用的git 有时候拉取依赖会报错，使用https 就好
批量替换git deps 目录下的所有的rebar.confg 配置文件git 修改为https 
 find deps -name rebar.config -type f -exec sed -i 's/git:\/\//https:\/\//g' {} + 
 make all  


 性能压测测试文件  
 16kb 文件压测
 vim   16file.conf   
 {mode,      max}.
 {duration,   10}.
 {concurrent, 50}.

 {driver, basho_bench_driver_leofs}.
 {code_paths, ["deps/ibrowse"]}.

 {http_raw_ips, ["10.39.1.28"]}. %% able to set plural nodes
 {http_raw_port, 8080}. %% default: 8080
 {http_raw_path, "/abc"}.
 %% {http_raw_path, "/${BUCKET}"}.

 {key_generator,   {partitioned_sequential_int, 660000}}. %% 请求的次数
 {value_generator, {fixed_bin, 16384}}. %% 16KB
 {operations, [{put,1}]}.               %% PUT:100%
 %%{operations, [{put,1}, {get, 4}]}.   %% PUT:20%, GET:80%

 {check_integrity, false}.


 660000x16kb=10GB  

 安装nmon 收集信息
 ansible leofs -m shell -a "yum install wget https://raw.githubusercontent.com/hambuergaer/nmon-packages/master/nmon-rhel7-1.0-1.x86_64.rpm -y " 

 ansible leofs -m shell -a "mkdir /nmon "   

 10 分钟 
 nmon 使用参数 
 -s  表示秒级采集一次数据
 -c  表示采集收的次数
 -m  表示生成数据文件的路径
 -f  表示生成数据文件名中有时间

nmon  -f  -s 1 -c 360 -m /nmon  

一秒采集一次，总共采集6分钟，1x360/3600=6分钟  


先检查一下磁盘的大小
[root@leofs_01 basho_bench]# ansible leofs_storage -m shell -a  "du -sh  /data/leofs "
10.39.1.26 | SUCCESS | rc=0 >>
332K    /data/leofs

10.39.1.25 | SUCCESS | rc=0 >>
332K    /data/leofs

10.39.1.27 | SUCCESS | rc=0 >>
132K    /data/leofs


同时写入9.7GB 16KB大小的文件 ，用时5分钟 
用时5分钟
ansible leofs_storage -m shell -a  "du -sh /data/leofs "
10.39.1.26 | SUCCESS | rc=0 >>
9.7G    /data/leofs

10.39.1.25 | SUCCESS | rc=0 >>
9.7G    /data/leofs

10.39.1.27 | SUCCESS | rc=0 >>
9.7G    /data/leofs

性能指标
CPU/IO 性能指标
这里写图片描述

磁盘指标
这里写图片描述

网卡读写

这里写图片描述

 这里只列出了storage1 的性能指标，其他storgae2 和storge3 指标未在这里列出来
把网关的线程池打开设置为64
# 网关配置线程池 
## Large Object Handler - put worker pool size
large_object.put_worker_pool_size = 16

## Large Object Handler - put worker buffer size
large_object.put_worker_buffer_size = 32
## Memory cache capacity in bytes
cache.cache_ram_capacity = 0

## Disk cache capacity in bytes
cache.cache_disc_capacity = 0

## When the length of the object exceeds this value, store the object on disk
cache.cache_disc_threshold_len = 1048576

## Directory for the disk cache data
cache.cache_disc_dir_data = ./cache/data

## Directory for the disk cache journal
cache.cache_disc_dir_journal = ./cache/journal

10万 文件用时一分钟 使用比例如下

4096.. 8192: 15%
8192.. 16384: 25%
16384.. 32768: 23%
32768.. 65536: 22%
65536.. 131072: 15%

{mode, max}.
{duration, 1000}.
{concurrent, 64}.

{driver, basho_bench_driver_leofs}.
{code_paths, ["deps/ibrowse"]}.

{http_raw_ips, ["10.39.1.28"]}.
{http_raw_port, 8080}.
{http_raw_path, "/abc"}.

{retry_on_overload, true}.
{key_generator, {partitioned_sequential_int, 1000000}}.
{value_generator, {fixed_bin, 262144}}.
{operations, [{put,1}]}.
{value_generator_source_size, 1048576}.
{http_raw_request_timeout, 30000}. % 30seconds
{value_size_groups, [{15, 4096, 8192},{25, 8192, 16384}, {23, 16384, 32768}, {22, 32768, 65536}, {15, 65536, 131072}]}.
安装web 界面
10.39.1.23 安装LeoCenter 
git clone https://github.com/leo-project/leo_center.git
yum install ruby-devel -y
cd leo_center/
gem install bundler  
bundle install 

修改配置
 config.yml

 :managers:
 - "localhost:10020" # master
 - "localhost:10021" # slave
:credential:
  :access_key_id: "YOUR_ACCESS_KEY_ID"
  :secret_access_key: "YOUR_SECRET_ACCESS_KEY"

 启动服务
  thin start -a ${HOST} -p ${PORT} > /dev/null 2>&1  &  


 创建管理员
  You need to create an administrator user from LeoFS-Manager’s console.
$ leofs-adm create-user leo_admin password
     access-key-id: ab96d56258e0e9d3621a
     secret-access-key: 5c3d9c188d3e4c4372e414dbd325da86ecaa8068

 $ leofs-adm update-user-role leo_admin 9
   OK

 leofs-adm create-user leo_admin password 
     access-key-id: 8d9de6fdfb35f837e9ed
     secret-access-key: 7dcc2631493865c7fb7ec7f96dda627f1cbb21eb

 leofs-adm update-user-role leo_admin 9 
  OK

 [root@leofs_01 leo_center]# leofs-adm get-users
  user_id   | role_id | access_key_id          | created_at                
  ----------+---------+------------------------+---------------------------
  leo_admin | 9       | 8d9de6fdfb35f837e9ed   | 2017-03-31 11:40:14 +0800
   test      | 1       | 919ca38e3fb34085b94a   | 2017-03-30 15:45:41 +0800

经过测试。  
删除用户buckets 是存在的，只有当buckets 删除之后数据才能真正删除
潇&洒
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
leofs:LeoFS存储系统
03-06
用于和Web的存储系统 概述 LeoFS是企业开源存储，它是一个高可用性，分布式的，最终一致的对象/ blob存储。 如果您正在寻找一个可以存储大量和各种文件（例如照片，电影，日志数据等）的存储系统，那么LeoFS就是适合的选择。 LeoFS支持以下功能： 多协议 S3-API支持 LeoFS是与Amazon S3兼容的存储系统。 切换到LeoFS可以通过更昂贵的公共云解决方案降低成本。 REST-API支持使用轻松访问LeoFS NFS支持LeoFS v1.1提供了NFS支持，其当前状态为beta。 大对象支持LeoFS涵盖处理大型对象。 多数据中心复制 LeoFS是一个高度可扩展的，容错的分布式文件系统，没有SPOF。 LeoFS的群集可以看作是巨大的容量存储。 它由一组松散连接的节点组成。 我们可以通过简单的操作构建一个全球规模的存储系统 建筑学 LeoFS由三个
linux文件系统和leofs区别,leofs存储总结
weixin_42097533的博客
05-16 280
1、leofs角色Account(账户)、Bucket(对象桶)、Object(对象),gateway、manager0、manager1、storageAccount一个account可以创建多个bucket，一个bucket可以有无限数量的object，它们之间关系如下：Bucket是object的容器，第个Object必须存储到Bucket里面。Bucket是Leofs里的一个高层命名空间，...
leofs 对象存储中一匹黑马
weixin_34033624的博客
04-06 387
leofs centos 集群搭建和测试(二)centos leofs 配置leofs cluster 基本规划ManagerIP: 10.39.1.23, 10.39.1.24Name: manager_0@10.39.1.23, manager_1@10.39.1.24GatewayIP: 10.39.1.28Name: gateway_0@10.39.1.28St...
探索SmartOS：一个高效的全栈操作系统
最新发布
gitblog_00057的博客
04-24 538
探索SmartOS：一个高效的全栈操作系统 项目地址:https://gitcode.com/NewLifeX/SmartOS 项目简介 SmartOS 是一款由NewLifeX开发的开源操作系统，它基于 illumos 源码，并融入了云原生和容器化的最新理念。该项目的目标是提供一个高性能、安全且易于管理的平台，适合于数据中心、云计算及边缘计算等应用场景。 技术分析 1. 基于ZFS的存储层 Sm...
leofs 对象存储介绍(一)
潇洒devops
05-18 3432
1. 对象存储对象存储(Object-based storage) 是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备(Object-base storage device) 简称OSD。 一个文件包含了属性(术语叫metadata，元数据，例如文件的大小、修改时间、存储路径等)以及内容（简称数据）。 2. leofs 介绍 leofs 是一种用于web的高度可扩展的、容错的非
leofs-storage(二)
潇洒devops
06-04 517
leofs 存储组成leofs 存储是由对象和元数据存储组成。此外，它包括复制器和修复程序，以实现最终的一致性。 在写操作的情况下，leofs 存储接受来自leofs Gateway 的请求，然后自动将对象复制到leofs 存储集群中。最后，leofs 存储确认存储对象是否满足一致性规则或NOT 另一方面，在读操作的情况下，leofs 网关请求leofs 存储节点。然后leofs 存储节点将一个对
leofs_docker:Docker 中的 LeoFS
06-08
leo-fs 码头工人测试 这是一个在 docker 中测试 leo-fs 的存储库。 注意：正在进行的工作，尚未在分布式环境中准备就绪。
leofs_client_tests:LeoFS针对S3客户端的测试用例
05-08
LeoFS客户端测试 准备 使用生成测试数据 $ cd temp_data ; ./gen.sh 一些SDK（例如erlcloud，aws-sdk-php，aws-sdk-cpp）连接到{BUCKETNAME}。{HOST}，您必须在/etc/hosts添加相应的条目以进行名称解析参考： ...
leofs, LeoFS存储系统.zip
09-18
leofs, LeoFS存储系统 ：一个用于数据湖的存储系统和 Web 概述LeoFS是一个英镑的企业开放源码存储，它是一个高度可用。分布式。最终一致的对象/。 如果要寻找存储大量和各种文件如照片。电影。日志数据等的存储系统...
awesome-storage:精选的存储开源工具列表。 备份，冗余，共享，分发，加密等
05-04
很棒的存储 精选的存储开源工具列表。 备份，冗余，共享，分发，加密等 分布式文件系统 公开具有POSIX语义的传统文件系统接口的系统。... 它是开源的，不需要特殊的硬件或内核模块，并且可以安装在Linux，Windows和OS X
LeoFS —— 高可靠性的分布式对象存储系统
weixin_34161032的博客
06-06 374
LeoFS是一个高可靠性，最终一致性的分布式对象存储系统，主要功能如下: 支持多种协议: S3 REST NFS 支持大对象和小对象 内置缓存机制 多数据中心复制 自动运维支持 https://yqfile.alicdn.com/90d15109bdc2148a9e156297c756e1d68940ec2b.png" > https://y...
leofs 问题集合
pkufergus的专栏
11-23 1233
1  leofs-adm status /usr/local/bin/leofs-adm: line 862: nc: command not found 需要安装nc软件也就是nmap-ncat yum install nc  2 leo_manager_0/bin/leo_manager start leo_manager_0/bin/leo_manager ping 报
leofs Gateway介绍
潇洒devops
05-28 623
leofs gateway 介绍 Leofs 网关是一个快的Cowboy HTTP 服务器，api 处理程序和缓存机制，它提供了rest-api 和亚马逊s3-api，可以很容易的使用s3客户端来访问leofs，例如s3-cmd 编程语言 go erlang python ruby 等等 客户端访问请求 客户端向LeoFS网关请求object或bucket 操作，则L
leofs manager(三)
潇洒devops
06-04 573
LeoFS管理器生成和管理一个路由表，称为RING，并且基于一致的哈希。LeoFS管理器始终监视每个LeoFS Storage和LeoFS Gateway的状态和RING，以保持运行LeoFS和RING的一致性。 此外，它还将RING分发到LeoFS存储和LeoFS网关。另外，管理员还可以轻松为Gateway 和Storage 提供操作方法(挂起/恢复/分离、等等)，并将RING 提供给Gate
第 13 章 LeoFS
weixin_34342905的博客
01-05 80
LeoFS is an Unstructured Object Storage for the Web and a highly available, distributed, eventually consistent storage system. 原文出处：Netkiller 系列 手札 本文作者：陈景峯 转载请与作者联系，同时请务必标明文...
龙存存储部署管理维护文档
weixin_33738578的博客
06-17 428
目录龙存存储集群部署2元数据服务器部署2数据存储服务器部署3客户端部署3监控部署4单机版LoongBox4loongBox部署4登陆WEB页面进行配置5集群监控部署LeoManagerNeo10连接配置10打开连接12配置存储服务器13配置元数据服务器：14配置应用服务器：15启动元数据服务器16启动存储服务器16启动应用服务器16NAS管理：17NFS和Samba共享21...
XFS 文件系统 mount 参数翻译
热门推荐
小熊Leo的专栏
12-11 1万+
安装选项XFS:        allocsize =大小               设置缓冲I / O端的文件预分配的大小时，延迟分配写出时（默认大小为               64KiB）。此选项的页面大小（通常4KiB）到1GiB，包括有效值，功率为2的               增量。        attr2 | noattr2               该选项
分布式数据库的未来工坊(1)
Sunface撩技术
07-28 2129
在搭建网站时，如果更新不多会用静态文件服务器，但如果要扩容，处理巨大的流量是件比较复杂的事情。负载均衡、磁盘冗余、容量规划、横向扩展、缩减，工程师需要考虑的问题非常多。在这里，我们将使用基于 GitHub pages 中表现出色的 Riak，在不编程的情况下，搭建既可以维持稳定延迟，又可快速扩展的静态文件服务器网站。概要大家一定都还记得初次搭建 Web 服务器的时候，先安装 Apache http
leofs分布式文件
11-16
Leofs是一个开源的分布式文件系统，它可以在多个节点上存储和管理数据。它的设计目标是提供高性能和可伸缩性，可以应对大规模数据的存储和访问需求。 Leofs使用了一种特殊的数据分布算法，称为CRUSH，来确定数据在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值