![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
存储管理
文章平均质量分 58
存储管理
蜗牛去旅行吧
老运维,努力做好每一件事情!
展开
-
Filebeat, Kafka, Logstash, ElasticSearch: 构建实时日志监控系统
近年来,大数据的处理和分析变得越来越重要。: Filebeat是一个轻量级的、开源的日志文件数据搬运工具,可以监控和收集日志数据,然后迅速发送给Logstash进行解析,或者直接发送给Elasticsearch进行索引。通过这样的系统,我们可以实现实时的日志收集、处理和分析,及时发现和处理系统的问题,对业务运行情况进行实时监控,提高系统的稳定性和用户的体验。: Elasticsearch是一个开源的分布式搜索和分析引擎,适用于所有类型的数据,包括文本、数值、地理、结构化和非结构化数据。原创 2023-08-02 17:56:15 · 296 阅读 · 0 评论 -
浅谈大数据方案
例如,MySQL可以用于处理实时交易数据,ES用于实时搜索和简单的分析,ClickHouse用于复杂的数据分析和报告。以上是当前大数据技术领域中较为常见的技术名词,它们在处理大规模数据和实现高性能数据处理和分析方面发挥着重要的作用。对于大数据工程师和数据科学家来说,熟悉这些技术并合理应用它们,可以帮助实现高效、安全、可靠的大数据处理和分析任务。:例如AWS的Redshift、Google的BigQuery等,这些服务提供了大数据仓库的解决方案,可以处理TB级别的数据。原创 2023-07-27 09:46:59 · 58 阅读 · 0 评论 -
哈希值、密文和明文的区别
是一种算法,它可以将任意长度的消息或数据压缩成一个较短的固定长度的标签,这种标签就是哈希值。哈希值可以看作是数据的指纹,可以唯一表示对应的数据,常用于数据完整性校验。明文传输通常不安全,可能会被窃听。非对称加密算法有RSA等。加密算法通常需要使用密钥,使得无密钥无法解密得到明文。哈希值是明文的一个固定长度代表,可以验证数据完整性。密文是明文被加密后的结果,需要密钥才能解密得到明文。常见的哈希算法有MD5、SHA1、SHA256等。是使用密码学算法对明文的数据进行加密后得到的结果。明文是原始未加工的数据。原创 2023-07-25 13:42:13 · 332 阅读 · 0 评论 -
lvm原理,以及详细使用
LVM通过物理卷、卷组和逻辑卷实现了硬盘空间的动态管理,方便进行扩展、缩减和迁移。希望上述对LVM的介绍和示例可以帮助您理解LVM的原理和使用方法。如果您有任何疑问,欢迎在评论提问。LVM(Logical Volume Manager)是Linux下的逻辑卷管理器。它能够更加方便和灵活的对磁盘空间进行管理。这里对LVM的原理进行解释,并给出详细的使用示例。fstab文件用于定义如何自动挂载文件系统。这里给出fstab文件的定义及写入示例。原创 2023-05-24 10:07:13 · 289 阅读 · 0 评论 -
分布式存储简介
它将文件切分成若干块,每块存储为一个文件,这些文件分布在多台存储服务器上,并记录各文件位置信息,使得文件可以被远程访问。FastDFS通过Tracker服务器与Storage服务器构建,Tracker主要负责调度和管理Storage服务器,Storage用于实际文件存储,实现文件存储的扩展和负载均衡。7. AWS S3:亚马逊提供的对象存储服务,高可靠、高扩展,主要用于云存储和备份。9. Ceph:开源分布式存储系统,提供对象、块和文件存储服务,可实现PB级存储。原创 2023-05-23 11:31:17 · 692 阅读 · 0 评论