本文介绍了如何使用shell脚本来采集服务器日志并上传到HDFS，包括创建目录、生成日志文件、编写upload2HDFS.sh脚本的详细步骤。在执行过程中遇到了文件上传的问题，需要对脚本进行调试，以确保日志能成功存入HDFS。
通过编写shell脚本，用于采集服务器上的日志文件，并将海量日志上传至HDFS中。
1. 准备工作：创建以下目录、创建日志文件
1.1创建目录
输入：mkdir –p /export/data/logs
输入：mkdir –p /export/data/logs/log （存放日志）
输入：mkdir –p /export/data/logs/toupload （存放待上传文件）
验证创建：
输入：cd /export/data/logs
输入：ls
1.2创建日志文件
切目录到 /export/data/logs/log/ ,创建access.log文件并复制三份
输入：cd /export/data/logs/log/
输入：vi access.log
随意输入一些内容，保存退出后
输入： cp access.log access.log.1
输入： cp access.log access.log.2
输入： cp access.log access.log.3
输入：ls （查看日志文件创建完毕）
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
