大数据清理脚本

最新推荐文章于 2023-12-21 15:32:00 发布
最新推荐文章于 2023-12-21 15:32:00 发布
阅读量185 收藏
点赞数
分类专栏： python 文章标签： python hive hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xufwind/article/details/119604709
版权

大数据计算过程中可能会遗留大量的日志，中间文件，以及过期的计算结果
在数据量是很大的情况下,这些数据会占用很多存储资源，甚至可能导致因磁盘满载出现机器停止运行的问题

下面是笔者在工作中编写的用于清理这些数据的脚本，目前可清理数据有:

  • 本地日志和其它文件
  • hdfs目录
  • hive表
  • hbase表

详情见代码: https://github.com/xufwind95/data_cleaner

xufwind
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
脚本处理大数据文件
Tank_War的博客
08-21 871
cut unique sed paste 处理文件
大数据技术之shell
03-06
【大数据技术之Shell】 ...例如，通过Shell脚本，我们可以自动化Hadoop集群的配置，定期清理日志，或者处理大量数据文件。熟练掌握Shell脚本编写技巧，能极大地提高工作效率，降低手动操作的出错率。
定时清理文件脚本
热门推荐
程序员之道
05-08 1万+
定时清理文件脚本。
数据清洗脚本
最新发布
一名学术垃圾的博客
12-21 426
保存浏览状态：程序会在窗口关闭时保存当前浏览状态，包括当前所在文件夹和图像索引，以便下次重新打开程序时能够恢复到上次浏览的状态，并将标记信息保存到"last_viewed.txt"文件中。图像标记：用户可以按空格键来标记当前查看的图像，将其文件路径添加到已标记的图像列表中，并将标记信息保存到"plot.txt"文件中。显示图像信息：程序会在图像上方显示当前图像的文件路径和图像索引信息。自动排序：程序会自动将图像文件夹中的图像按数字顺序进行排序。根据plot.txt内容，可以删除不合格图片。
使用脚本组件进行数据清理
weixin_56264090的博客
02-01 781
面对一些复杂的问题的时候，前面讲的清洗步骤就有点无能无力，这时就需要借助 Kettle 提供的脚本组件步骤来解决问题。 是否使用脚本组件开发？对于 ETL 的开发，我们对脚本是又爱又恨：一方面，希望开发出一个不需要编写任何代码的 ETL 流程，易于后期维护。另一方面，面对复杂问题，不得不用脚本组件步骤。 随着 Kettle 的不断更新，很多以前需要使用脚本才能实现的功能，现在都变成了可以直接使用的步骤，但是这并不能够满足用户所有的需求，所以脚本步骤总有需要的地方。
大数据集群常用脚本
qq_43192537的博客
10-28 876
大数据集群常用脚本
清理数据脚本
mct123的专栏
04-13 1392
一个目录下有多个ip名目录，ip目录下有多个年份目录，年份目录下有月目录，月目录下有日目录，脚本删除离当天31天以上数据#!/bin/bash currentDir=/home/mission/test/tmp ip="" function isLeapYear() { year=$1 if [ $(($year%4)) -eq 0 ]; then if [ $(($year%100)) -ne...
2018年度大数据时代的互联网信息安全考试题及答案1.docx
12-15
9. 浏览网页安全：定期清理浏览器缓存和Cookies，禁用不必要的ActiveX控件和Java脚本，避免在公共设备上保存登录信息。 10. 电子商务安全：遇到交易异常时，应通过官方渠道联系客服，不轻信卖家推荐的非官方联系...
运维之道 | Zabbix使用shell脚本定期自动化清理数据库历史数据
01-07
前言 zabbix运行一段时间之后，会留下大量的历史数据，会发现zabbix的数据库一直在增大。运行3个月后笔者的数据库达到了5G，可能造成系统性能下降，查看历史数据时查询速度缓慢。 zabbix里面最大的表就是历史记录的...
linux系统Tomcat重启shell脚本
04-25
4. 日志文件的清理：当日志文件超过一定大小时，脚本将删除这些日志文件，以释放磁盘空间。 知识点总结 通过本文，我们可以了解到以下几个知识点： 1. Linux 操作系统的基本知识，包括 shell 脚本编程、环境变量的...
清除3个月数据脚本
12-10
清除3个月数据脚本
大数据预处理PPT、讲稿、脚本等资源.zip
07-11
大数据预处理PPT、讲稿、脚本等资源.zip
企业IT大数据系统.pptx
10-14
在过去，日志信息分散在各个服务器和应用目录中，需要通过脚本或程序逐个查看，且日志通常被定期清理，不利于长期保存和分析。此外，日志在安全事件发生后才引起重视，缺乏实时监控和分析。传统的关系型数据库难以...
2021_w_2.一个数据清洗的脚本
Captain_DUDU的博客
11-30 814
一个数据清洗的脚本 #!/usr/bin/env python # -- coding: utf-8 -- # @Time : DATEDATE{TIME} # @Author : wang vx:672377334 # @File : v4.3.2深圳版本.py import datetime import os import numpy as np import pandas as pd # import time pd.set_option('float_format', lambda x: '
(深度学习)简单的图片和xml数据清洗脚本
SSSlasH的博客
09-16 876
简单的图片和xml数据清洗脚本：1.显示命名不规划的xml文件(可设置自己定义的命名规范格式）2.缺失xml文件显示3.缺失图像显示4.删除没有对应xml的图片（小心误删）5.删除没有对应图片的xml文件（小心误删）6.找出并删除内容为空的xml文件7.改写label出错的xml文件。
shell脚本之数据清洗
liweihope的博客
04-16 1702
本文通过上一节Hadoop离线项目之数据清洗开发的数据清洗jar包，对日志文件进行清洗，并把清洗后的结果移动到hive表里，并刷新元数据信息。并把这个过程写到shell脚本里。 jar包路径： /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/lib/g6-hadoop-1.0.jar jar包主程序： com.ruozedata.hadoop.mapreduce.d...
mysql数据库清理脚本
唐顺才的博客
03-08 3672
我写了一个如下的脚本去执行清理工作。 按照一天8张数据表的速度，得清理两个月才能清理完毕。 mysql清理脚本如下，希望可以给需要的朋友提供帮助。 1650727278@qq.com 唐小墨 假设待清理数据库格式如下： mysql> desc objects_0; +-------+------------+------+-----+---------+-------+ |...
好用的清理数据库脚本
weixin_33736649的博客
07-03 799
1、脚本说明 　　此脚本用于清空数据库数据，只删除相关表记录，保留表结构及存储过程触发器等主要架构。 　　设计思路： 　　1）根据表添加时间逆向获取所有用户表信息 　　2）使用游标循环删除每张表内数据 　　3）使用delete进行删除，即使有外键关系同样可以删除表记录 　　4）表存在自增主键则将其重置为0 　　5）截断日志，将数据库表空间及日志文件缩减到...
bash脚本实例-linux性能数据清洗-1
老胡的笔记
07-25 1746
1. 目标 性能采集脚本将用uptime、vmstat、free、iostat命令采集到的数据记录到了一个日志文件中。本脚本就是将按照不同的标签把数据提取出来，加上标题栏保存为csv文件，方便进一步的分析。 性能数据记录文件。文件的第一列文件时间，一分钟一组数据，第二列为标签，grep这个标签就可以分离数据了。 oliver@bigdatadev:~/_src/testing/analyse
大数据shell脚本
03-16
大数据shell脚本是指用于处理大数据的Shell脚本。大数据通常指的是数据量非常大、处理难度较高的数据，例如互联网上的用户行为数据、传感器数据等。Shell脚本是一种脚本语言，可以用于自动化执行一系列命令或操作。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值