log上传

最新推荐文章于 2022-07-18 11:46:58 发布
最新推荐文章于 2022-07-18 11:46:58 发布
阅读量1.6k 收藏
点赞数
一、log提取更新说明：
从原来提取的dhcp和apache的log中有用的信息有限；根据要求，要从dhcp和apacha中提取更多用户访问设备的信息，具体如下：
dhcp提取更新：增加了终端的设备号，android设备号大致为：android-7231aba3bfaed03d
苹果设备为各个苹果设备设置的用户名，如果没有修改过的话为：ipad、iPod、iPhone等
格式如下：
Nov 22 11:00:14 192.168.1.104 98:e7:9a:08:c8:d8 (android-7231aba3bfaed03d)
Nov 22 11:23:47 192.168.1.134 18:46:17:23:2a:bf (ipod)
apache提取更新：增加了终端访问设备的详细的URL，精确到访问的每个文件链接以及该终端设备的系统信息，如系统、系统版本、浏览器信息等等
格式如下：
192.168.252.65 - - [23/Jan/2013:11:08:38 +0800] "GET /image/shuai02.jpg HTTP/1.1" 200 47865 "http://192.168.1.1/books.html" "Mozilla/5.0 (Linux; U; Android 2.2; zh-cn; HTCA8180/1.0 Android/2.2 release/06.23.2010 Browser/WAP 2.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"
二、log提取配置说明： 
修改ADFI脚本中的：
cat /var/log/dhcpd.log | grep DHCPACK |awk '{print $1" "$2" "$3" "$8" "$10}' >> $dhcp_name
.
cat /var/log/apache2/access.log |awk '{print $1" "$4$5" "$8}' >> $apache_name
为：
cat /var/log/dhcpd.log | grep "DHCPACK on" |awk '{print $1" "$2" "$3" "$8" "$10" "$11}' >> $dhcp_name
.
cat /var/log/apache2/access.log | grep GET | sed '\/?p=verify/d' >> $apache_name
三、log上传更新说明：
修复由于3G网络不通导致log漏传的漏洞
修复log上传脚本后台运行占用不必要资源的漏洞
修复上传当天log而导致远程同名log被替换而导致的log丢失的漏洞
四、log上传配置说明：
1、将修改好的log上传脚本upload_log.sh脚本拷贝至/adfipro/logs/目录下
2、修改/etc/init.d/rc.local文件
在最后一行sh /etc/init.d/ADFI &后加上
sleep 60
sh /adfipro/logs/upload_log.sh &即可
修改后为：
sh /etc/init.d/ADFI &
sleep 60
sh /adfipro/logs/upload_log.sh &
 
 
 
#!/bin/sh
 
echo "`date "+%Y-%m-%d %H:%M:%S"` upload_log.sh is running!" > /adfipro/logs/ftp.log
 
#FTP服务器参数
ftphost="119.188.10.163"
username="adfi_ftp"
passwd="adfi1!"
 
cnt_upload=0
 
device_id=`cat /adfipro/device_id`
echo "`date "+%Y-%m-%d %H:%M:%S"` This Device ID is $device_id" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
 
#需要备份文件的目录
filepath="/adfipro/logs"
 
#FTP Server备份目录
backupdir="/log/$device_id"
 
cd /adfipro/logs
 
rm -f /adfipro/logs/*tar.gz
 
while true
do
for log_files in apache.log* dhcp.log*
do
if [ -f $log_files ];then
if [ $log_files = apache.log.$device_id.`date +%Y-%m-%d` ]||[ $log_files = dhcp.log.$device_id.`date +%Y-%m-%d` ];then
#echo $log_files >> /adfipro/logs/today_files.log
echo "`date "+%Y-%m-%d %H:%M:%S"` The $log_files is today's log file,do not upload!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
else
state=0 #0 is ok;1 is failed
#state=$(cat /adfipro/3g.state) #0 is ok;1 is failed
if [ $state = 0 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` 3G_state=$state;3G is ok!" >> /adfipro/logs/ftp.log
des_files="$log_files.tar.gz"
tar -zcvf $des_files $log_files
res=$(ping 8.8.8.8 -c 3 | grep received | awk '{print $4}') #3 is ok; or is failed
if [ $res = 3 ];then
#echo $log_files
echo "`date "+%Y-%m-%d %H:%M:%S"` Res_ping=$res;Network is ok!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` Begin use ftp to upload the $log_files file!" >> /adfipro/logs/ftp.log
 
#Begin use ftp to upload the log file!
ftp -n -i -v $ftphost << EOF
user $username $passwd
cd $backupdir
lcd $filepath
passive
binary
put $des_files
bye
EOF
 
echo "`date "+%Y-%m-%d %H:%M:%S"` $log_files is uploaded" >> /adfipro/logs/ftp.log
 
#Begin use ftp to download the log file attributes!
sleep 1
cnt_download=0
cnt_ping=0
sleep_time_download=0
while true
do
res=$(ping 8.8.8.8 -c 3 | grep received | awk '{print $4}') #3 is ok; or is failed
if [ $res = 3 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` Res_ping=$res;Network is ok!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` Begin use ftp to download the $log_files file attributes!" >> /adfipro/logs/ftp.log
 
ftp -n -i -v $ftphost << EOF
user $username $passwd
cd $backupdir
lcd $filepath
passive
binary
dir $des_files tmp.log
bye
EOF
sleep 1
remote_file_size=`cat /adfipro/logs/tmp.log | awk '{print $5}'`
local_file_size=`ls -l /adfipro/logs/$des_files | awk '{print $5}'`
echo "`date "+%Y-%m-%d %H:%M:%S"` remote_file_size=$remote_file_size" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` local_file_size=$local_file_size" >> /adfipro/logs/ftp.log
rm -f /adfipro/logs/tmp.log
 
if [ $remote_file_size = $local_file_size ];then
 
echo "`date "+%Y-%m-%d %H:%M:%S"` $log_files is upload completely! Break! Then begin to upload the next log file!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
mv -f /adfipro/logs/$log_files /adfipro/logs/backup
rm -f /adfipro/logs/$des_files
break
else
cnt_download=`expr $cnt_download + 1` #count number
echo "`date "+%Y-%m-%d %H:%M:%S"` cnt_download=$cnt_download" >> /adfipro/logs/ftp.log
if [ $cnt_download -gt 10 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` Try more then 10 times! Break!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
rm -f /adfipro/logs/$des_files
break
else
sleep_time_download=`expr $sleep_time_download + 60`
echo "`date "+%Y-%m-%d %H:%M:%S"` $log_files is upload failed! Sleep $sleep_time_download continue to upload this log file until it's upload comletely" >> /adfipro/logs/ftp.log
sleep $sleep_time_download
res=$(ping 8.8.8.8 -c 3 | grep received | awk '{print $4}') #3 is ok; or is failed
if [ $res = 3 ];then
#echo $log_files
echo "`date "+%Y-%m-%d %H:%M:%S"` Res_ping=$res;Network is ok!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` Begin use ftp to upload the $log_files file!" >> /adfipro/logs/ftp.log
ftp -n -i -v $ftphost << EOF
user $username $passwd
cd $backupdir
lcd $filepath
passive
binary
put $des_files
bye
EOF
fi
continue
fi
fi
 
else
cnt_ping=`expr $cnt_ping + 1` #count number
echo "`date "+%Y-%m-%d %H:%M:%S"` cnt_ping=$cnt_ping" >> /adfipro/logs/ftp.log
if [ $cnt_ping -gt 2 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` Try 3 times! Break!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
rm -f /adfipro/logs/$des_files
break
else
echo "`date "+%Y-%m-%d %H:%M:%S"` Res_ping=$res;Network is failed! Sleep 60s then continue!" >> /adfipro/logs/ftp.log
sleep 60
continue
fi
fi
done
else
echo "`date "+%Y-%m-%d %H:%M:%S"` Res_ping=$res;Network is failed! Continue!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
rm -f *.tar.gz
sleep 3
continue
fi
else
echo "`date "+%Y-%m-%d %H:%M:%S"` 3G_state=$state;3G is failed! Continue!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` -----------------------------------------------------------------------------------------------" >> /adfipro/logs/ftp.log
sleep 3
continue
fi
fi
else
#echo "All the log files is upload!" >> /adfipro/logs/ftp.log
sleep 3
continue
fi
done
 
ls /adfipro/logs/ | grep $device_id > log
line=`awk 'END {print NR}' /adfipro/logs/log`
#echo "The line is $line" >> /adfipro/logs/ftp.log
#if [ -s /adfipro/logs/log ];then
if [ $line -eq 2 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` All the logs is uploaded! Break!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` ***********************************************************************************************" >> /adfipro/logs/ftp.log
rm -f /adfipro/logs/log
break
else
cnt_upload=`expr $cnt_upload + 1` #count number
echo "`date "+%Y-%m-%d %H:%M:%S"` cnt_upload=$cnt_upload" >> /adfipro/logs/ftp.log
if [ $cnt_upload -gt 2 ];then
echo "`date "+%Y-%m-%d %H:%M:%S"` Try 3 times! Break!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` ***********************************************************************************************" >> /adfipro/logs/ftp.log
break
else
exist_files=`cat /adfipro/logs/log`
echo "`date "+%Y-%m-%d %H:%M:%S"` The $exist_files is not uploaded;Continue!" >> /adfipro/logs/ftp.log
rm -f /adfipro/logs/log
echo "`date "+%Y-%m-%d %H:%M:%S"` Sleep 300s then continue to upload the $exist_files log files!" >> /adfipro/logs/ftp.log
echo "`date "+%Y-%m-%d %H:%M:%S"` ###############################################################################################" >> /adfipro/logs/ftp.log
sleep 300
continue
fi
fi
done
 

<script type="text/javascript"> </script><script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script>
Jlins
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Android错误日志保存并上传服务器
11-03
里面有studio版本和eclipse版本可任意使用
开源中国源码学习（三）——Log日志上传
ZhangGeng's Blog
08-06 3334
在AppStart中开启了一个服务LogUploadService用来上传应用程序的日志。采用的是start的方式开启服务，代码如下：Intent uploadLog = new Intent(this, LogUploadService.class); startService(uploadLog);一、功能介绍：在服务LogUploadService被开启后，根据情况进行如下几种操作：
Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)
冰河的专栏
01-14 3871
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056674 一、场景描述 比如我们的网站共有5台Web设备，日志文件存放在/data/logs/日期(20180114)/access.log。日志为默认的Nginx定义格式，如下所示： 10.2.2.234 - - [12/Jan/2018:08:36:23 +0800...
Android 封装Log工具并上传Log文件到服务器（带类名、方法名
m0_64603743的博客
12-13 1247
/** Log的分级为 Crash、Error、Warning、Info、Debug */ public static final String CRASH_LEVEL = “CRASH”; public static final String ERROR_LEVEL = “ERROR”; public static final String WARNING_LEVEL = “WARNING”; public static final String INFO_LEVEL = “INFO”; public
本地log提取与上传
茶叶蛋大战菊花侠
07-18 314
本地log提取与上传。
Android 封装Log工具并上传Log文件到服务器（带类名、方法名、行数、Crash的捕捉）
RikkaTheWorld
06-21 1224
最近开发写一个Log的追踪日志。 将log信息写入到cache文件下的文件中，当遇到Crash的Log或者Log文件大小大于1mb，则上传至服务器。 那么首先，我们知道，上传服务器的操作一般要开子线程，而多个子线程同时写Log，那肯定就要考虑使用单例模式了： public class LogTool { private static final String TAG = "LogTool"...
将log日志文件上传到服务器
xiyangyang8110的博客
05-23 4370
https://blog.csdn.net/true100/article/details/53260381
Android上传log信息到服务器
学习记录
10-10 4207
Android应用发生ANR或者崩溃的时候比较多，当然你开发的应用特别好除外，我们可以想办法把崩溃的log信息传到服务器端，那么就涉及到如何拿到我们应用的错误信息的问题。但请记得一定要过滤log信息，只取和你应用相关的Log信息就可以了。 具体看官方文档这里： dev guide ->Developing -> Tools -> logcat dev guide ->Debugging ->
全局异常捕捉并上传log到服务器
Mr_ladeng的博客
12-16 760
一个项目的完工后，我们也应给APP加上全局的异常捕捉，并将异常log上传到服务器。有些朋友可能会遇到这样的问题，异常是捕捉到了，但是还没等到上传到服务器上APP就挂了。下面我们一起来看一下我在应用中的使用。 import java.io.File; import java.io.FileOutputStream; import java.io.PrintWriter; import
ugw log日志上传-shell脚本_curl
09-29
上传策略是 pad log 每1小时收集一次，每12小时上传全部logs。 1. 使用curl实现，返回值如下{"code":"0","file_name":"static/lxw/test/1000004/ugw_028d3640aae5_20170928170415_log.tar.gz"}200
c/c++Log日志类
05-18
简单常用的c++日志类
c++打包上传log文件
03-09
c++打包上传log文件，已表单形式上传服务器，用到zlib库，学习
上传机场检测log算子
05-09
基于matlab的机场检测，应用log算子。
Android-AndroidLog日志打印输出到文件方便查看和上传到服务器
08-13
Android一个简单实用把Log日志打印到手机本地文件，可以自行取出来上传到服务器开源代码
LogService 日志统计打印并上传至服务器
a940659387的博客
06-11 993
/*** * 作者 ： 于德海 * 时间 ： 19.5.7 * 描述 ： Log工具类 */ public class LogService { private static String logPath = "";//日志存放路径 private static String templete="yyyy-MM-dd:HH:mm:ss";//时间格式 pri...
Windows服务器自动化抓取log并上传
ganmaotong的博客
10-21 2997
最近因为项目有日志审计的需要，需要把多个windows服务器的log每天抓取并自动上传到指定的服务器中。经过查阅相关知识之后，决定采用bat脚本+定时计划任务的方式来实现。 一、Window事件日志简介 Windows系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕...
日志易数据接入之 Syslog 日志上传
weixin_34185512的博客
03-19 3294
在企业运维环境中，运维人员管理的主要对象分别是服务器、存储、网络设备、安全设备等。而在对整个企业网站进行监控时，这些设备的日志数据都需纳入到监控的范围之内。日志分析与监控，这事说大不大，说小也不小。传统的ES开源解决方案虽然节约了应用成本，但对应的人力维护成本较高。这个中的辛酸故事毋需多言。在此介绍一种商业日志分析解决方案——日志易。好不好用暂不评论，是否拿来对比试用也取决于各位心情。第一步自然是...
优化Android Log类，并保存日志内容至文件
热门推荐
flueky的专栏
08-14 1万+
目的何在 枚举日志级别 封装原生方法 保存日志内容至文件 组件初始化 目的何在?为什么要优化log？举两个例子。开发中遇到问题时，我们喜欢用log帮助自己分析问题，通常没有在解决问题之后删除日志输出代码的习惯，那么问题来了。别人也可以根据你开发时的日志信息来分析你程序的漏洞，所以安全公司一般建议在release包中删除日志输入代码。这时候不可能逐行删除（工作量太大）。安卓系统更新快，机型多且杂。考虑
上传文件返回提取码_如何使用提取上传文件
cuk0051的博客
08-26 554
上传文件返回提取码There’s a task that should be simple, but sometimes it leads to hours of research on the Web: uploading files to the server. 有一项任务应该很简单，但有时会导致在Web上进行大量研究：将文件上传到服务器。 In this tutorial I expl...
Log4Net怎么上传webservice
最新发布
07-28
要将Log4Net的日志上传到Web服务，你需要完成以下步骤： 1. 创建一个Web服务：首先，你需要创建一个Web服务来接收并处理Log4Net的日志数据。你可以使用ASP.NET Web API、ASP.NET Core Web API或其他你熟悉的Web服务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值