日志存储空间优化

最新推荐文章于 2023-12-05 10:06:50 发布
最新推荐文章于 2023-12-05 10:06:50 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010010664/article/details/78983800
版权

背景

在这个大数据时代，数据公司每天都面临大量数据堆积，如果不能有效的利用并发掘他，继而产生价值，那么他同时也会成为一场灾难。无序、无结构的数据堆积，给企业带来的是令人乍舌的高额成本。

优化方式

时间优化

  • 通过时间分区，严格控制日志的存放时间 如：定时删除一年前的数据（业务允许的前提下）
  • ……

空间优化

文件个数优化（HDFS存储）
  • 减少小文件个数
  • 合理分配单个文件大小
  • ……
内容优化
  • 数据结构化
  • 减少不必要字段的存储
  • 不添加默认值，置为空
  • 去除空格、制表符用特殊符号替代，数据不要分段
  • ……
格式优化
文本文件格式

文本文件格式是一种由若干行字符构成的计算机文件。文本文件存在于计算机文件系统中。通常，通过在文本文件最后一行后放置文件结束标志来指明文件的结束。文本文件是指一种容器，而纯文本是指一种内容。文本文件可以包含纯文本。 一般来说，计算机文件可以分为两类：文本文件和二进制文件。如ASCII、MIME、.txt、.doc、.json…

压缩格式

任何一个文件存储在电脑上都有它的格式，例如文本格式像。txt .doc，图像格式 .jpg .tif .bmp等。 所有压缩也有压缩的格式，一般我们看到的压缩格式有。.rar .zip，但主要压缩的作用就是让某一个文件占用空间小点。比如它是30MB,可以压缩到20多MB。

Protocol Buffer

protocolbuffer(以下简称PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了多种语言的实现：java、c#、c++、go 和 python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优秀的二进制数据传输格式，可以用于诸如网络传输、配置文件、数据存储等诸多领域。

Base64

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。例如，在Java Persistence系统Hibernate中，就采用了Base64来将一个较长的唯一标识符（一般为128-bit的UUID）编码为一个字符串，用作HTTP表单和HTTP GET URL中的参数。在其他应用程序中，也常常需要把二进制数据编码为适合放在URL（包括隐藏表单域）中的形式。此时，采用Base64编码具有不可读性，需要解码后才能阅读。

优化方案(按优先级排序)

  1. 定时清除不需要的数据
  2. 减少内容存储
  3. 文本文件>>>Protocol Buffer>>>Base64编码>>>压缩文件
    测试数据
    • 文本文件(100G)===>Protocol Buffer(50G) 减小0.5倍
    • Protocol Buffer(50G)===>Base64编码(75G) 增大0.3倍（Protocol Buffer为流文件，如果个数过多不便于存储）
    • Base64编码(75G)===>压缩文件(37.5G) 减小0.5倍
      总存储(37.5G)大小减小0.375倍
听见下雨的声音hb
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
存储过程的安全及性能优化
03-07
存储过程的安全及性能优化 存储过程分类  系统存储过程  自定义存储过程  SQL Server使用者编写的存储过程  扩展存储过程  动态链接库(DLL)函数的调用看，主要用于客户端和服务器端之间进行通信  exec master..xp_cmdshell 'dir *.exe' -- 执行目录命令查询[sql2005\sql2008]  exec master..xp_fixeddrives --列出硬盘分区各自可用空间  xp_regwrite根键，子键，值名，值类型，值【sql2008拒绝访问】  写入注册表，例如：  exec master..db.xp_regwrite 'HKEY_LOCAL_MACHINE','SOFTWARE\Microsoft\Windows\CurrentVersion\run','TestValueName','reg_sz','hello'  xp_regdeletevalue 根键，子键，值名【sql2008拒绝访问】  删除注册表某个值  xp_regdeletekey键，值【sql2008拒绝访问】  删除该键下包括的所有值 xp_cmdshell语法  xp_cmdshell {'command_string'} [,no_output]  command_string是在操作系统命令行解释器上执行的命令字符串。command_string数据类型为varchar(255)或者nvarchar(4000),没有默认值  no_output为可选参数，可以控制是否想客户端返回信息  该存储过程一般情况下被禁用的，需要手动开启使用，如下：  exec sp_configure 'show advanced options',1  go   reconfigure  go   exec sp_configure 'xp_cmdshell',1—1表示启用，0表示禁用  go   reconfigure  go 删除xp_cmdshell SQL SERVER200删除xp_cmdshell use master exec sp_dropextendedproc 'xp_cmdshell' go SQL SERVER2005以上禁用xp_cmdshell,但不能删除掉 exec sp_configure 'xp_cmdshell',0 —1表示启用，0表示禁用  go reconfigure --让sp_configurre立即生效  go  exec sp_configure 'show advanced options',0  go   reconfigure  go --注意：SQL SERVER2008考虑安全性很多存储过程直接被拒绝访问 恢复/启用扩展存储过程 SQLServer2000 use master exec sp_addextendedproc xp_cmdshell,'xplog70.dll' go SQL Server2005或SQL Server2008启用xp_cmdshell  exec sp_configure 'show advanced options',1  go   reconfigure  go   exec sp_configure 'xp_cmdshell',1—1表示启用，0表示禁用  go   reconfigure  go 扩展存储过程的定义  扩展存储过程是SQL Server中的另一类存储过程，它是以其它语言编写的外部程序，是以动态链接库（DLL）形式存储在服务器上，最终SQLServer就可以动态加载并执行它们  编写好后使用SQLServer的固定角色sysadmin注册该扩展存储过程,并将执行权限授予其它用户,这个扩展存储过程只能添加到master数据库。  在编写扩展存储过程中可能要用到某些系统存储过程，这些系统存储过程如下： 利用OLE自动化存储过程调用dll 1.创建类库程序集 namespace PB_ExtendProcedure { public class ExtendProcedure { public string SayHi() { return "hello world"; } } } 2.生成动态链接库并注册到系统中 2.1.生成动态链接库使用VS2010命令行工具 使用sn命令生成一个强命名文件： sn -k he
Tomcat优化参数
cyh970473的专栏
01-27 234
JAVA_OPTS="-Xmx400m -Xms400m -XX:PermSize=128m -XX:MaxPermSize=400m -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:G1ReservePercent=30 -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=1 -XX:+UnlockC
日志中心现有架构下的优化方案记录
Jomly Kellenda的博客
09-21 891
同时，由于软件和系统机制的制约，一套flink集群并不能真正分配到足量的cpu和内存资源，多一套集群也可以进一步使用剩余系统资源。生产环境已经采用，对照组是测试环境的独立集群，负载能力和容错能力远远超过测试环境的集群，且可能动态调整性能使用，例如slot的使用量；中间件flink、redis、kafka和mysql均在同一套三台主机上，CPU总数100C，256G内存，2T的磁盘。日志格式配置中，包含过滤方法，要业务侧给出过滤规则，屏蔽一些不需要的日志，减少日志的同时，提升日志可用性和命中率。
日志管理及优化
weixin_43834060的博客
02-13 586
一、journald 企业中，对日志进行管理是非常重要的，一般系统出现的问题都体现在日志中。日志是由程序本身产生的，journald是RHEL7以后出现的日志采集工具，它将程序产生的日志放在磁盘中可供查看 服务名称：systemd-journald.service 日志默认的存放路径：/run/log 日志的查看工具：journalctl 示例1：用journalctl查看日志 示例2：用jour...
分布式日志存储架构设计方案
7small7
05-05 2657
在一个完整的项目中，不仅仅是要完成正常的业务开发。同时为了提高一些开发效率、系统异常的追踪、系统功能的扩展等等因素，往往会用到系统在开发、运行过程中所产生的日志。这就需要我们有一个完善的日志系统来存储这些数据。本文将分享如何设计一个高可用、可扩展的分布式日志系统。 本文是一种理论性的方案探索，当然各种方案也是在实际的生产环境中经过实践总结而来的。 本文是分布式日志存储系列的理论篇。也有实战篇，将会分享从0到1的整个过程，从0环境的搭建到真正的实践落地。文章会定期的完善，最终文章地址。 日志的重要性 在一
ClickHouse日志存储实践（唯品会）
HELLOW，文浩
08-26 2501
Clickhouse压缩率这么高，但没有索引，其查询速度如何？虽然没有索引，但其向量执行和SIMD配合多核CPU，可以大大缓解没有全文索引的缺点。经过多次测试对比后，其查询速度在绝大多数场景下和ES不相上下，在部分场景下甚至比ES还要快。...
日志存储系统常用技术方案介绍
热门推荐
weixin_34313182的博客
01-08 1万+
      日志存储系统常用技术方案有两种：一是log4j/logback+mongodb的方式，一种是基于ELK的日志存储系统。       日志一般存储在数据库和文件系统中。日志数据要和生产正式库分开存储，否则会影响正式库的运行，带来隐患。另外，为了防止日志存储性能问题，后期可以考虑采用异步的消息队列形式进行存储。       下面详细讲解。 　　1.便捷的日志存储方式log4j+mon...
java如何缓存数据结构_Java 日志缓存机制的实现--转载
weixin_42524762的博客
02-13 225
概述日志技术为产品的质量和服务提供了重要的支撑。JDK 在 1.4 版本以后加入了日志机制，为 Java 开发人员提供了便利。但这种日志机制是基于静态日志级别的，也就是在程序运行前就需设定下来要打印的日志级别，这样就会带来一些不便。在 JDK 提供的日志功能中，日志级别被细化为 9 级，用以区分不同日志的用途，用来记录一个错误，或者记录正常运行的信息，又或是记录详细的调试信息。由于日志级别是静态的...
大数据项目之日志数据采集（一）
科小勒的博客
01-14 2044
日志数据采集 平台搭建模型设计 1、日志采集 方案选择 方案一：使用flume直接从日志服务器到hdfs 不能采用原因： 1、由于日志服务器较多，直接从日志服务器到HDFS，会导致HDFS的访问量过高， 2、由于flume采集到不同服务器上的同一时间段的日志，会写入到HDFS上同一个目录中，而同一文件的写入不支持多线程同时写入。 方案二：使用flume聚合再传输给hdfs 此方案解决了方案一中多线程同时写入的问题。 不能采用原因：由于flume聚合，多个flume将会写入到一个flume中，末端的f
论文研究-基于连接跟踪的存储优化日志系统的研究.pdf
07-22
Linux内核2.4及以上版本中的Netfilter/Iptables防火墙对每个进来的数据包记录一条日志信息，造成信息冗余，耗费大量的日志存储空间。基于Netfilter的连接跟踪功能，以网络连接为相关信息，扩展Netfilter/Iptables的...
详解MySQL中InnoDB的存储文件
12-16
从物理意义上来讲，InnoDB表由共享表空间文件（ibdata1）、独占表空间文件（ibd）、表结构文件（.frm）、以及日志文件（redo文件等）组成。 1、表结构文件 在MYSQL中建立任何一张数据表，在其数据目录对应的数据库...
基于MySQL的存储引擎与日志说明(全面讲解)
12-15
不管使用什么文件系统，数据内容不会变化，不同的是，存储空间、大小、速度。 1.1.2 mysql数据库存储 MySQL引擎： 可以理解为，MySQL的“文件系统”，只不过功能更加强大。 MySQL引擎功能： 除了可以提供基本的存取...
MYSql高级教程-存储引擎和SQL优化
06-28
存储引擎和SQL优化 数据库安装及数据库对象 最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于 TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。...
轻量级云原生日志收集方案 Loki
云原生实验室
10-27 1181
❝本文转自掘金，原文：https://juejin.cn/post/7150469420605767717，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yangHi，很高兴能够在掘金开发者的平台上为大家带来一套轻量级的 kubernetes 日志收集方案的相关介绍。我自己也在生产环境中使用过这套方案，令我意想不到的时它占用的 kubernetes 的资源相比与 ELK...
阿里云日志服务：轻松解决大规模日志数据的存储和管理问题
最新发布
明飞的博客
12-05 394
阿里云日志服务（Log Service）是一项旨在实现大规模日志数据采集、存储、检索和分析的云计算服务。作为阿里云大数据生态圈的一部分，日志服务为用户提供了强大而灵活的工具，以满足不同规模和类型业务的日志管理需求。
百亿级日志系统架构设计及优化
架构文摘
06-18 3225
日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双 11 大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻...
基于elk的springboot web日志收集存储方案
Tec Log
08-23 1114
web系统的日志按照价值排序分类controller层的接口访问日志（debug日志）自定义包下的其他日志（debug日志）全局日志① 全局错误日志② 部分组件的debug日志③ 部分组件的Info日志一般来讲，1和2的价值最大，2可基于实际业务情况，进一步划分，如component目录下日志，service层日志等。版本：7.6.2安装前 部署 部署后 Logstash安装 版本：7.6.2部署前 修改配置文件logstash.conf 部署 部署后 kibana 版本：7.6.2部署 部署后 导入依赖
日志存储
weixin_39702831的博客
11-16 1632
文件目录布局 一个分区副本在节点上对应一个log文件夹，同时kafka为了防止文件过大引入了logSegment概念。将log切分成了多个logSegment，相当于将一个大文件切分成多个小文件。logSegment又对应磁盘上多个文件，一般有一个日志文件和两个索引文件，以及可能的其他文件。 向log中追加消息时是顺序写入，只有最后一个logSegment才能执行昔日如操作，此前的所有logSegment度不能写入数据。 为了便于消息的检索，每个logSegment中的日志文件(以.log结尾)对有对应的
Hadoop小文件处理
窗外的屋檐
10-17 7466
导读 HDFS作为Hadoop生态系统的分布式文件系统，设计是用来存储海量数据，特别适合存储TB、PB量级别的数据。但是随着时间的推移或者处理程序的问题，HDFS上可能会存在大量的小文件，进而消耗NameNode大量的内存，并且延长程序的运行时间。下面我就把对小文件的处理经验总结一下，供大家参考。 引言 先来了解一下Hadoop中何为小文件：小文件指的是那些文件...
kafaka存储量优化
03-23
4. 调整日志段大小：Kafka将数据存储在日志段中，可以通过调整日志段大小来优化存储空间。 5. 使用压缩存储：Kafka支持使用压缩存储，可以将数据压缩后存储，减少存储空间。 6. 使用SSD硬盘：使用SSD硬盘可以提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值