hdfs普通文本文件合并lzo压缩

最新推荐文章于 2024-05-18 13:51:48 发布

威尼斯的星期天

最新推荐文章于 2024-05-18 13:51:48 发布

阅读量368

点赞数

分类专栏：运维大数据文章标签： hdfs hadoop big data

本文链接：https://blog.csdn.net/qq_37714755/article/details/122320212

版权

该博客介绍了一种基于Hadoop的自动化日志处理流程，包括从HDFS下载日志文件、本地合并、使用Python脚本进行文件合并、使用lzop压缩、删除旧文件并上传到HDFS以及创建LZO索引。整个流程确保了日志的有效管理和压缩，提高了存储效率。

摘要由CSDN通过智能技术生成

环境准备

安装lzop

sudo apt-get install lzop

shell 主脚本

通过循环次数来控制执行天数，格式化dt可以根据 date -d "$dt $i days" +%Y-%m-%d最后一个参数来格式化！

#! /bin/bash
localpath=/home/impdatahd/testData/hdfs_test
outpath=/home/impdatahd/testData/merged
hdfspath=/user/hive/warehouse/test/origin/behavior_log_andr_test
dt='2022-01-04'

function checkFileExist(){
   
`hadoop fs -test -e $1`
#echo "in func"+$1
if [ $? -eq 0 ] ;then
  return 0;
else
  return 1;
fi
}
function