分布式文件系统项目（二）

最新推荐文章于 2024-07-25 17:59:47 发布
最新推荐文章于 2024-07-25 17:59:47 发布
阅读量509 收藏
点赞数
文章标签： 数据库 mysql nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/biggerliu/article/details/125910311
版权

Redis

1、 数据库类型：

1、关系型数据库sql：操作数据库必须使用sql语句，数据存在磁盘：mysql，存储数据量大

2、非关系型数据库nosql：操作时不需要使用sql语句，数据默认存储在内存：速度快，效率高，存储数据量小，不需要数据库表，以键值对存储的

2、关系/非关系型数据库搭配使用

DDBMS：关系型数据库

1、所有数据存储在关系型数据据库

2、客户端访问服务器，有一些数据，服务器需要频繁的查询数据

        服务器首先将数据从关系型数据库中读出------>第一次

        将数据写入到redies当中

        客户端第二次包含以后访问服务器，从redies中读取数据

 3、redis两个角色

        1）服务器启动

                redis-server

                redis-server confFilename//根据配置文件配置启动

        2）客户端启动

                redis-cli：默认链接本地，绑定6379端口的服务器

                redis-cli -p 端口号

                redis-cli -h IP地址 -p 端口号：链接远程主机指定端口的redis

        3）通过客户端关闭服务器

                shutdown

        4）客户端测试命令

                ping [message]

4、redis中数据格式

键值对：key值必须是字符串-----"hello"

                value值可选：

                        String类型
                        List类型
                        Set类型
                        SortedSet类型
                        Hash类型

5、redis常用数据类型

  1.         String类型：字符串
  2.         List类型：存储多个string字符串的（更像一个数组）
  3.         Set类型：redis集合：元素不重复, 数据是无序的
  4.         SortedSet类型：排序集合, 集合中的每个元素分为两部分 ：[分数, 成员] -> [66, ''tom'']
  5.         Hash类型：跟map数据组织方式一样: key:value  Qt -> QHash, QMap Map -> 红黑树            hash -> 数组 a[index] = xx

6、redis常用命令

String类型
1、key--->string
   value--->string
   #设置一个键值对string:string
    SET key value
  
   #通过key值取value
    GET key
   
   #同时设置一个或多个key-value 对
    MSET key value [key value ...]
   
   #返回所有(一个或多个) 给定key 的值
    MGET key [key ...]
   
   #如果key 已经存在并且是一个字符串，APPEND 命令将value 追加到key 原来的值的末尾。
   #如果key 不存在，APPEND 就简单地将给定key 设为value ，就像执行SET key value 一样
    APPEND key value

    #返回key 所储存的字符串值的长度。
    #当key 储存的不是字符串值时，返回一个错误。
    STRLEN key

    #将key 中储存的数字值减一。
    #如果key 不存在，那么key 的值会先被初始化为0 ，然后再执行DECR 操作。
    #如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。
    DECR key

    #将key 中储存的数字值增一。
    #如果key 不存在，那么key 的值会先被初始化为0 ，然后再执行INCR 操作。
    #如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。
    INCR key

    #将key 所储存的值减去减量decrement 。
    #如果key 不存在，那么key 的值会先被初始化为0 ，然后再执行DECRBY 操作。
    #如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。
    DECRBY key decrement

    #将key 所储存的值加上增量increment 。
    #如果key 不存在，那么key 的值会先被初始化为0 ，然后再执行INCRBY 命令。
    #如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。
    INCRBY key increment

 2、list类型---存储多个字符串

key--->string
value--->list

#将一个或多个值value 插入到列表key 的表头,如果有多个value 值，那么各个value 值按从左到右的顺序依次插入到表头
LPUSH key value [value ...]
#将一个或多个值value 插入到列表key 的表尾(最右边),如果有多个value 值，那么各个value 值按从左到右的顺序依次插入到表尾
RPUSH key value [value ...]
#如果key 不存在，一个空列表会被创建并执行RPUSH,LPUSH操作

#返回列表key 中指定区间内的元素，区间以偏移量start 和stop 指定。
#下标(index) 参数start 和stop 都以0 为底，也就是说，以0 表示列表的第一个元素，以1 表示列表的
#第二个元素，以此类推。
#你也可以使用负数下标，以-1 表示列表的最后一个元素，-2 表示列表的倒数第二个元素，以此类推。
LRANGE key start stop

#移除并返回列表key 的头元素
LPOP key
#移除并返回列表key 的尾元素
RPOP key

#返回列表key 中，下标为index 的元素。
#下标(index) 参数start 和stop 都以0 为底，也就是说，以0 表示列表的第一个元素，以1 表示列表的
#第二个元素，以此类推。
#你也可以使用负数下标，以-1 表示列表的最后一个元素，-2 表示列表的倒数第二个元素，以此类推。
LINDEX key index

#返回列表key 的长度
LLEN key

#根据参数count 的值，移除列表中与参数value 相等的元素。
count 的值可以是以下几种：
• count > 0 : 从表头开始向表尾搜索，移除与value 相等的元素，数量为count 。
• count < 0 : 从表尾开始向表头搜索，移除与value 相等的元素，数量为count 的绝对值。
• count = 0 : 移除表中所有与value 相等的值。
LREM key count value

3、set 类型

key--->string
value--->set类型{"string","string",...}

将一个或多个member 元素加入到集合key 当中，已经存在于集合的member 元素将被忽略。
假如key 不存在，则创建一个只包含member 元素作成员的集合
SADD key member [member ...]

返回集合key 中的所有成员。
不存在的key 被视为空集合。
SMEMBERS key

返回一个集合的全部成员，该集合是所有给定集合之间的差集。
SDIFF key [key ...]

返回一个集合的全部成员，该集合是所有给定集合的交集。
不存在的key 被视为空集。
当给定集合当中有一个空集时，结果也为空集(根据集合运算定律)。
SINTER key [key ...]

返回一个集合的全部成员，该集合是所有给定集合的并集。
不存在的key 被视为空集。
SUNION key [key ...]

移除集合key 中的一个或多个member 元素，不存在的member 元素会被忽略。
SREM key member [member ...]
移除并返回集合中的一个随机元素。
SPOP key

4、sortedset排序集合

key--->string
value--->sorted ([score,member],[score,member].....)

将一个或多个member 元素及其score 值加入到有序集key 当中。
如果某个member 已经是有序集的成员，那么更新这个member 的score 值，并通过重新插入这个member
元素，来保证该member 在正确的位置上。
score 值可以是整数值或双精度浮点数。
如果key 不存在，则创建一个空的有序集并执行ZADD 操作。
ZADD key score member [[score member] [score member] ...]

返回有序集key 中，指定区间内的成员。
其中成员的位置按score 值递增(从小到大) 来排序。
具有相同score 值的成员按字典序(lexicographical order ) 来排列。
start,end和之前一样
ZRANGE key start stop [WITHSCORES]
降序排列
ZREVRANGE key start stop [WITHSCORES]

返回有序集key 中，score 值在min 和max 之间(默认包括score 值等于min 或max ) 的成员的数量。
ZCOUNT key min max

返回有序集key 中成员member 的排名。其中有序集成员按score 值递增(从小到大) 顺序排列。
排名以0 为底，也就是说，score 值最小的成员排名为0 。
ZRANK key member
逆序排列
ZREVRANK key member

移除有序集key 中的一个或多个成员，不存在的成员将被忽略。
ZREM key member [member ...]

ZSCORE key member
返回有序集key 中，成员member 的score 值。

5、哈希hash

 

key--->string
value--->hash([key:value],[key,value]....)

HSET key field value
将哈希表key 中的域field 的值设为value 。
如果key 不存在，一个新的哈希表被创建并进行HSET 操作。
如果域field 已经存在于哈希表中，旧值将被覆盖。

HMSET key field value [field value ...]
同时将多个field-value (域-值) 对设置到哈希表key 中。
此命令会覆盖哈希表中已存在的域。
如果key 不存在，一个空哈希表被创建并执行HMSET 操作。

HGET key field
返回哈希表key 中给定域field 的值。

HMGET key field [field ...]
返回哈希表key 中，一个或多个给定域的值。
如果给定的域不存在于哈希表，那么返回一个nil 值。

HDEL key field [field ...]
删除哈希表key 中的一个或多个指定域，不存在的域将被忽略。

HEXISTS key field
查看哈希表key 中，给定域field 是否存在。

HGETALL key
返回哈希表key 中，所有的域和值。
在返回值里，紧跟每个域名(field name) 之后是域的值(value)，所以返回值的长度是哈希表大小的两倍。

HINCRBY key field increment
为哈希表key 中的域field 的值加上增量increment 。
增量也可以为负数，相当于对给定域进行减法操作。
如果key 不存在，一个新的哈希表被创建并执行HINCRBY 命令。
如果域field 不存在，那么在执行命令前，域的值被初始化为0 。
对一个储存字符串值的域field 执行HINCRBY 命令将造成一个错误。

HLEN key
返回哈希表key 中域的数量

HVALS key
返回哈希表key 中所有域的值。

6、Key值相关

DEL key [key ...]
删除给定的一个或多个key 。
不存在的key 会被忽略。

KEYS pattern
查找所有符合给定模式pattern 的key 。
KEYS * 匹配数据库中所有key 。
KEYS h?llo 匹配hello ，hallo 和hxllo 等。
KEYS h*llo 匹配hllo 和heeeeello 等。
KEYS h[ae]llo 匹配hello 和hallo ，但不匹配hillo 。
特殊符号用\ 隔开

EXISTS key
检查给定key 是否存在。

EXPIRE key seconds
为给定key 设置生存时间，当key 过期时(生存时间为0 )，它会被自动删除。

TTL key
以秒为单位，返回给定key 的剩余生存时间(TTL, time to live)。
    当key 不存在时，返回-2 。
    当key 存在但没有设置剩余生存时间时，返回-1 。
    否则，以秒为单位，返回key 的剩余生存时间。

PERSIST key
移除给定key 的生存时间，将这个key 从『易失的』(带生存时间key ) 转换成『持久的』(一个不带生存时
间、永不过期的key )。

TYPE key
返回key 所储存的值的类型。

7、redis配置文件

配置文件是针对服务器的

1、位置

源码安装位置 redis.conf：启动时指定conf

# redis服务器绑定谁之后, 谁就能访问redis服务器
# 任何客户端都能访问服务器, 需要注释该选项
bind 127.0.0.1 192.168.1.100
# 保护模式, 如果要远程客户端访问服务器, 该模式要关闭
protected-mode yes
# reids服务器启动时候绑定的端口, 默认为6379
port 6379
# 超时时长, 0位关闭该选项, >0则开启
timeout 0
# 服务器启动之后不是守护进程
daemonize no
# 如果服务器是守护进程, 就会生成一个pid文件
# ./ -> reids服务器启动时候对应的目录
pidfile ./redis.pid
# 日志级别
loglevel notice
# 如果服务器是守护进程, 才会写日志文件
logfile "" -> 这是没写
logfile ./redis.log
# redis中数据库的个数
databases 16
- 切换 select dbID [dbID == 0 ~ 16-1]

8、redis持久化

持久化：数据从内存到磁盘的过程

持久化的两种方式:
rdb方式
        这是一种默认的持久化方式, 默认打开
        磁盘的持久化文件xxx.rdb
        将内存数据以二进制的方式直接写入磁盘文件
        文件比较小, 恢复时间短, 效率高
        以用户设定的频率 -> 容易丢失数据
        数据完整性相对较低
aof方式
        默认是关闭的
        磁盘的持久化文件xxx.aof
        直接将生成数据的命令写入磁盘文件
        文件比较大, 恢复时间长, 效率低
        以某种频率 -> 1sec
        数据完整性高

# rdb的同步频率, 任意一个满足都可以
save 900 1
save 300 10
save 60 10000
# rdb文件的名字
dbfilename dump.rdb
# 生成的持久化文件保存的那个目录下, rdb和aof
dir ./
# 是不是要打开aof模式
appendonly no
-> 打开: yes
# 设置aof文件的名字
appendfilename "appendonly.aof"
# aof更新的频率
# appendfsync always
appendfsync everysec
# appendfsync no

1、aof和rdb能同时打开

2、aof和rdb能同时关闭：关闭rdb: save  ""//不设置就关了

3、两种模式同时开启, 如果要进行数据恢复, 如何选择?
        效率上考虑: rdb模式
        数据的完整性: aof模式

 接口文档：去官方网址下载：编译安装

BIGGERLIU
关注
淘淘商城第25讲——图片上传分析及分布式文件系统FastDFS
李阿昀的博客
05-29 5948
商品添加的实现，包括商品的类目选择，即商品属于哪个分类？还包括图片上传，对于图片上传这个功能，我们准备搭建一个图片服务器，专门保存图片。淘淘商城系列将使用分布式文件系统FastDFS。什么是FastDFS？FastDFS是用c语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载
分布式文件系统项目
Mr_Csyn的博客
07-31 595
分布文件服务系统概述 本项目源码GitHub链接 本项目主要实现文件的分布式存储功能，主要采用的是http协议，提供文件的上传、下载和文件分享，采用C/S模型，服务端跟客户端进行交互，在服务端Nginx作为反向代理服务器，进行请求转发，由fastCGI进程处理对应请求，fastDFS实现文件的分布式存储。架构图见github也有 Nginx转发请求和fastCGI处理程序 转发用户注册请求给对应的fastCGI程序 转发用户登录请求给对应的fastCGI程序 转发文件上传请求给对应的fastCGI程序
文件系统与共享资源管理
XIVXVIX的博客
11-02 250
一、项目背景 有一小型公司，组建了单位的局域网，采用了Windows Server 2012 R2操作系统，现需要根据公司人员身份的不同创建不同的用户帐户，这些帐户根据身份不同可使用的计算机资源不同，可访问的文件及文件夹的权限不同。 为了完成项目任务，设计一小型网络，拥有3台计算机，这3台计算机组成一个基于工作组的小型网络，现在需要对这些计算机进行配置，满足下列要求： 1．公司内有5位员工，需要使用这些计算机，每位用户的部门，用户帐户初始密码等信息见表1。 2．销售部有一台计算机，由销售部的3位员工
Java中的分布式文件系统应用
最新发布
微赚淘客系统开发者博客
07-25 977
随着大数据和云计算的普及，传统的单机文件系统已经无法满足高并发、大容量存储和高可用性的需求。分布式文件系统（DFS）应运而生，它可以将文件分散存储在多个节点上，提供高效、可靠的文件存储服务。本文将介绍分布式文件系统的基本概念、常见实现、Java中的应用，以及如何在Java项目中集成和使用分布式文件系统。Ceph是一个开源的分布式存储系统，支持对象存储、块存储和文件存储。以下是一些常见的分布式文件系统的Java应用示例。通过合理的配置和优化，可以确保系统的高可用性、性能和安全性，为大规模数据处理提供支持。
Meeto:分布式系统课程项目
07-08
我也是 分布式系统课程项目 依赖项：Tomcat 7 - Web Server Java 7 - 最好是最新的稳定版本，而不是 Java8 如何运行应用程序： → 使用命令编译数据库：Meetoj7/src$ java rmiserver/*.java; → 启动数据库服务器：Meetoj7/src$ java -cp .:mysql-connector-java-5.1.33-bin.jar rmiserver.Database; → 将 Meetoj7/War/Meetoj7.war 文件移动到 tomcat7 的 webapps 文件夹； → 在 URL 处打开浏览器：localhost:8080/Meetoj7；
基于Rust的分布式文件系统项目介绍.zip
03-09
基于Rust的分布式文件系统项目介绍 随着大数据和云计算技术的快速发展，分布式文件系统作为存储和管理海量数据的关键技术之一，受到了越来越多的关注。Rust作为一种安全、高效且并发性能出色的编程语言，为构建高...
分布式文件系统简要对比与分析.pdf
08-09
Ceph是Sage Weil在UCSC大学的博士论文项目开发的新一代分布式文件系统，现已成为Apache的开源项目。Ceph的架构包括客户端、元数据服务器集群和对象存储集群，在对象存储集群中，Ceph利用Crush算法将文件通过2层或3层...
基于C++实现的分布式文件系统源码+项目说明.zip
07-20
基于C++实现的分布式文件系统源码+项目说明.zip 该项目是个人毕设项目，答辩评审分达到95分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动...
一个java实现的分布式文件存储系统，可以实现文件分布存储在不同的服务器中，进行上传、下载、删除
05-30
其次，分布式文件系统的核心功能包括文件存储、文件上传和文件下载。文件存储涉及如何将文件拆分成多个块，并在多台服务器上分配这些块，确保高可用性和容错性。这通常通过哈希算法来决定文件块的存储位置，以实现...
【项目实战】Dubbo分布式系统架构-第三方支付项目的系统架构实战视频教程
12-17
【项目实战】Dubbo分布式系统架构-第三方支付项目的系统架构实战视频教程
cpp-百度自己的分布式文件系统BaiduFileSystemBFS
08-16
The Baidu File System 百度的核心数据库Tera将数据持久化在分布式文件系统上，分布式文件系统的性能、可用性和扩展性对整个上层搜索业务的稳定性与效果有着至关重要的影响。
分布式（电商项目实例）
04-28
SSM框架完整实例，so架构 分布式 概括到（redis缓存的具体使用 activeMQ消息队列的具体使用）单点登录系统
分布式系统常用技术及案例
11-30
分布式系统常用技术及案例 分布式系统常用技术及案例
云盘项目（一）——基于fastDFS的分布式文件系统搭建
gjw的博客
06-17 3597
fastDFS是一个开源的轻量级分布式文件系统框架，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 分布式文件系统 一般地，我们的电脑上装的Windows或者linux操作系统，都会自带一个文件系统（比如fat32，ntfs，ext3，ext4等格式），用来管理和存储...
文件操作（文件系统设计项目总结）
xiaoxiaoyu85的专栏
03-30 1017
1.size_t fread(void*buffer,size_tsize,size_tcount,FILE*stream);　 　　功 能: 从一个流中读数据 　　 　　参 数： 　　1.用于接收数据的地址（指针）（buffer） 　　2.单个元素的大小（size） ：单位是字节而不是位，例如读取一个int型数据就是4个字节 　　3.元素个数（count）
鸿蒙HarmonyOS分布式项目实战：分布式点餐系统
m0_64422261的博客
06-06 1091
本篇通过一个分布式点餐系统，完整的为开发者们介绍了多人在线点餐数据共享案例，旨在帮助开发者快速了解 HarmonyOS 应用开发、JS-JAVA 通信、获取可迁移设备、打开迁移设备的页面、分布式数据库使用。
项目6（文件系统与共享系统管理）
zhjs_hulk_24的博客
12-17 167
一、项目背景 有一小型公司，组建了单位的局域网，采用了Windows Server 2012 R2操作系统，现需要根据公司人员身份的不同创建不同的用户帐户，这些帐户根据身份不同可使用的计算机资源不同，可访问的文件及文件夹的权限不同。 为了完成项目任务，设计一小型网络，拥有3台计算机，这3台计算机组成一个基于工作组的小型网络，现在需要对这些计算机进行配置，满足下列要求： 1．公司内有5位员工，需要使用这些计算机，每位用户的部门，用户帐户初始密码等信息见表1。 2．销售部有一台计算机，由销售..
项目六 文件系统与共享资源管理
GED_xiaochen的博客
11-29 571
文件系统与共享资源管理 一、项目背景 有一小型公司，组建了单位的局域网，采用了Windows Server 2012 R2操作系统，现需要根据公司人员身份的不同创建不同的用户帐户，这些帐户根据身份不同可使用的计算机资源不同，可访问的文件及文件夹的权限不同。 为了完成项目任务，设计一小型网络，拥有3台计算机，这3台计算机组成一个基于工作组的小型网络，现在需要对这些计算机进行配置，满足下列要求： 1．公司内有5位员工，需要使用这些计算机，每位用户的部门，用户帐户初始密码等信息见表1。 2．销售部有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值