存储服务器 自建,搭建及了解存储服务器

搭建存储服务器：

什么是存储

存储介质：内存 磁盘

数据存储位置：云存储 本地 共享存储 分布式存储

存储是什么：数据

存储技术：DAS(直连) NAS SAN (FC_SAN/IP_SAN)

SCSI NFS/CIFS(也叫sabam) ISCSI

SCSI小型计算机系统接口

作为输入、输出接口

主要用与硬盘、光盘等设备

DAS直连式存储

将存储设备通过SCSI接口或光纤通道直接连接计算机上

不能实现数据与其他主机的共享

占用服务器操作系统资源，如CPU、IO等

数据量越大，性能越差

NAS网络技术存储

一种专用数据存储服务器，以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带管、提高性能、降低总拥有成本

用户通过TCP/IP协议访问数据

采用标准的NFS/HTTP/CIFS等

SAN存储区域网络

通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来，形成高速专网网络

组成部分：

如路由器、光纤交换机

接口：如SCSI、FC

通信协议：如IP、SCSI

适合与千兆数据传输的、成熟而安全的解决方案

与传统的SCSI相比，FC提供更高的数据传输速率、更远的传输距离、更多的设备连接支持一及更稳定的性能、更简易的安装

FC主要组件

光纤

HBA(主机总线适配置器)

FC交换机

FC光纤通道

ISCSI技术：

IETF制定的标准，将SCSI数据块映射为以太网数据包

是一种基于IP Storage理论的新型存储技术

将存储行业广泛应用的SCSI接口技术与IP网络相结合

可以在IP网络上构建SAN

优势：

基于IP协议技术的标准

允许网络在TCP/IP协议上传出SCSI命令

解决了传输效率、存储容量、兼容性、开放性、安全性等方面的问题

没有距离限制

使用SAN共享存储空间

一 配置后端存储

1.1 装包

1.2 修改配置文件

1.3 启动服务

1.4 查看

1.1 装包

yum list |grep -i scsi

yum -y install scsi-target-utils

rpm -qc scsi-target-utils

1.2 修改配置文件

vim /etc/tgt/targets.conf

backing-store /dev/vdb 定义存储设备

write-cache off

# initiator-address 192.168.4.53 定义前端ip

vendor_id tarena 定义出厂商

product_id disktwo 定义磁盘标识

backing-store /dev/vdc

write-cache off

# initiator-address 192.168.4.53

vendor_id tarena 定义出厂商

product_id diskthr 定义磁盘标识

1.3 启动服务

service tgtd start

service tgtd status

chkconfig tgtd on

1.4 查看

netstat -lantpu |grep tgtd

tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 1913/tgtd

tcp 0 0 :::3260 :::* LISTEN 1913/tgtd

tgt-admin --show 查看

Target 1: iqn.2018-01.cn.feiyun:56.diskb

System information:

Driver: iscsi

State: ready

I_T nexus information:

LUN information:

LUN: 0

Type: controller

SCSI ID: IET 00010000

SCSI SN: beaf10

Size: 0 MB, Block size: 1

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: null

Backing store path: None

Backing store flags:

LUN: 1

Type: disk

SCSI ID: IET 00010001

SCSI SN: beaf11

Size: 5369 MB, Block size: 512

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: rdwr

Backing store path: /dev/vdb

Backing store flags:

Account information:

ACL information:

ALL

Target 2: iqn.2018-01.cn.tedu:56.diskc

System information:

Driver: iscsi

State: ready

I_T nexus information:

LUN information:

LUN: 0

Type: controller

SCSI ID: IET 00020000

SCSI SN: beaf20

Size: 0 MB, Block size: 1

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: null

Backing store path: None

Backing store flags:

LUN: 1

Type: disk

SCSI ID: IET 00020001

SCSI SN: beaf21

Size: 5369 MB, Block size: 512

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: rdwr

Backing store path: /dev/vdc

Backing store flags:

Account information:

ACL information:

ALL

二 配置前端应用

2.1 装包

2.2 发现设备

2.3 登陆设备

2.4 退出登陆

2.4 查看

2.1 装包

yum list |grep -i iscsi

yum -y install iscsi-initiator-utils

rpm -qc iscsi-initiator-utils

2.2 发现设备

man iscsiadm

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover

2.3 登陆设备

iscsiadm --mode node --targetname iqn.2018-01.cn.feiyun:56.diskb --portal 192.168.4.56:3260 --login

fdisk -l

ls /dev/vd*

ls /dev/sd*

2.4 退出登陆

iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --logout

三 起服务iscsid

/etc/init.d/iscsid status或service iscsid status

chkconfig iscsid on

缺点：登陆共享磁盘的顺序，会影响设备在本机的命名名称，所以用UDV技术解决

配置UDV

1 获取硬件设备的参数信息

2 编写存放硬件设备的参数的UDV程序文件

3 启动UDV

4 查看命名信息

1 获取硬件设备的参数信息

ls /dev/sd*

which udevadm

udevadm --help

udevadm info --query=path --name=/dev/sda(磁盘路径)

udevadm info --help

udevadm info --path=/devices/platform/host4/session3/target4:0:0/4:0:0:1/block/sda --attribute-walk

2 编写存放硬件设备的参数的UDV程序文件

vim /etc/udev/rules.d/70-iscsidisk.rules

SUBSYSTEM=="block", ATTR{size}=="10485760", ATTRS{vendor}=="tarena " ,ATTRS{model}=="disktwo ", SYMLINK+="iscsi/vdb"(自定义名称)

SUBSYSTEM=="block", ATTR{size}=="10485760",ATTRS{vendor}=="tarena ",ATTRS{model}=="diskthr ",SYMLINK+="iscsi/vdc"

3 启动UDV

start_udev

4 查看命名信息

ls /dev/sd*

ls -l /dev/iscsi/

使用共享存储磁盘存储数据

分区--》格式化--》挂载--》存储

fdisk /dev/iscsi/vdb

mkfs.tex4 /dev/sda1

blkid /dev/sdb1

vim /etc/fstab

mount -a

mount |grep var

df -h

echo "aaaaa" > /var/www/html/test.html

缺点：多台服务器不能同时挂载

多路径

功能：

冗余，主备模式，高可用

改进的性能，主主模式，负载均衡

使用2个网段

配置后端存储

1.1 装包

1.2 修改配置文件

1.3 启动服务

1.4 查看

1.1 装包

yum list |grep -i scsi

yum -y install scsi-target-utils

rpm -qc scsi-target-utils

1.2 修改配置文件

vim /etc/tgt/targets.conf

backing-store /dev/vdd

# backing-store /dev/LVM/somedevice2 # Becomes LUN 2

#backing-store /dev/LVM/somedevice3 # Becomes LUN 3

write-cache off

# initiator-address 192.168.4.53

#vendor_id tarena

#product_id disktwo

前段装包

yum -y install device-mapper-mutipath

mpathconf --user_friendly_names n 使用mpathconf命令创建配置文件并启用多路径

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.56 --discover

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover

iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --login

iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.2.56:3260 --login

ls /etc/multipath.conf

scsi_id --whitelisted --device=/dev/sda WWWID(全球识别符，唯一性)

1IET 00020001

vim /etc/multipath.conf

defaults {

user_friendly_names no

getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"

}

blacklist {

}

multipaths {

multipath {

wwid "1IET 00020001"

alias mpatha

}

}

启动服务：

/etc/init.d/multipathd start

chkconfig multipathd on

分区格式化

ls /dev/mapper/mpatha mpatha及为多路径设备

multipath -ll 查看多路径信息

multipath -rr 重新加载多路劲信息