shell sed 积累

最新推荐文章于 2023-09-06 15:22:27 发布
最新推荐文章于 2023-09-06 15:22:27 发布
阅读量442 收藏
点赞数
分类专栏： linux_environment_dev_tools shell_perl_sed_awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bamboolsu/article/details/49978381
版权



xshell

    a, 远程登录ssh 等；  ssh 可以证书或者  用户名密码登录

    b， 文件上传下载：

          配置；

           rz   上传文件到unix 服务器

           sz  下载






find and 统计
find ./ -type d -name "*v1*"|wc -l
find ./ -type d -name "*wan*"|wc -l



list：
 for i in `find ./ -type d -name "*tonn*"`;do echo $i;done
 
 

查询 拷贝

for i in `find ./ -type d -name "*tonn*"`;do rsync -avP $i /data/aa/;done




1， 生成全目录的list：


[root@10-10-159-137 ip_all_my_used]# pwd
/data/actlog/ip_all_my_used

[root@10-10-159-137 ip_all_my_used]# find /data/actlog/ip_all_my_used/ -name "*.tar.gz"  > service.list

/data/actlog/ip_all_my_used/wefasdierfxoede1/act.log.2015-10-06.tar.gz
/data/actlog/ip_all_my_used/wefasdierfxoede1/act.log.2015-08-31.tar.gz




2， 全list文件修改内容：

#!/bin/bash

i=0
echo "current time is: "$(date)
for tarfile in `cat ./service.list`
do
        echo $tarfile
        tar -zxvf $tarfile
        rm -fr $tarfile
        logfile=`ls act.log.*`
        echo "here is my: "$logfile
        echo `ll $logfile`
        sed  -i 's/S771/S257/g' $logfile
        tar czf $tarfile $logfile
        echo "current time is: "$(date)
        rm ./act.log.*
done


service.list 内容如下：

/data/actlog/ip_all_my_used/wefasdierfxoede1/act.log.2015-11-15.tar.gz



3， 几个 用过的sed 替换 或者行删除

   锚定行的结束 如：/sed$/匹配所有以sed结尾的行

   删除 reason=65 结束的行；

   sed  -i 's/reason=65$//g'   act.log.2015-11-15
   sed  -i 's/reason=74$//g'   act.log.2015-11-15
   
   删除所有 && 之间， 含有 banlance的 列；   &balance=14044& ---》》》  &&
   sed  -i 's/&[^&]*balance[^&]*//g'   act.log.2015-11-15
 
   删除所有 && 之间， 含有 banlance的 列（包括前面的&）；   &balance=14044& ---》》》  &
   sed  -i 's/&balance[^&]*//g'   act.log.2015-11-15






4，  shell 脚本例子


[root@10-10-159-137 ip_all_my_used]# find /data/actlog/ip_all_my_used/ -name "*.tar.gz"  > service.list

循环遍历 目录中的tar.gz 文件， 解压， 搜索文件， 然后满足一定条件的， 输出到指定文件（目录拼接而成）中。


#!/bin/bash

i=0
echo "current time is: "$(date)
for tarfile in `cat ./service.list`
do
        a=${tarfile%".tar.gz"}
        path1=${a#"/data/actlog/"}
        path=${path1//"/"/"_"}
        tar -zxvf $tarfile
        for line in `cat ./act.log.*`
        do
                #echo $line
                if [[ $line == *interface=yb_expend* ]]
                then
                        echo $line >> ./yb_expend/$path"yb_expend".txt
                elif [[ $line == *interface=shop_buy* ]]
                then
                        echo $line >> ./shop_buy/$path"shop_buy".txt
                elif [[ $line == *interface=recharge* ]]
                then
                        echo $line >> ./recharge/$path"recharge".txt
                elif [[ $line == *interface=yb_income* ]]
                then
                        echo $line >> ./yb_income/$path"yb_income".txt
                elif [[ $line == *interface=logout* ]]
                then
                        echo $line >> ./logout/$path"logout".txt
                fi
        done
        i=$(($i+1))
        echo "current time is: "$(date)
        echo "is first parseing log file of: "$i" and name is: "$tarfile
        rm ./act.log.*
done



5， 批量更改当前目录：


#!/bin/bash

echo "current time is: "$(date)
i=0
for tarfile in `ls .`
do
        mv $tarfile "bf4c52cbd9cd_"$i
        i=$(($i+1))
done



6， 批量运行 一系列脚本：

# cat  run_parse.sh

echo "here make dir" >> timeinfo.txt
date >> timeinfo.txt
./mymkdir.sh

echo "here firstparse" >> timeinfo.txt
date >> timeinfo.txt
./firstparse.sh


echo "here make dir" >> timeinfo.txt
date >> timeinfo.txt
./recharge.sh


echo "here  shop_buy" >> timeinfo.txt
date >> timeinfo.txt
./shop_buy.sh


echo "here parse yb_expend" >> timeinfo.txt
date >> timeinfo.txt
./yb_expend.sh


echo "here parse yb_income" >> timeinfo.txt
date >> timeinfo.txt
./yb_income.sh


echo "here parse logout" >> timeinfo.txt
date >> timeinfo.txt
./logout.sh





7，   去除 某些 表头的 列名；

#!/bin/bash

rm -fr tt.txt
ls  yb_expend  > tt.txt
#find ./yb_expend/ -name "*.txt" > tt.txt


let i=0
for tarfile in `cat tt.txt`
do
  echo ./"yb_expend"/$tarfile
  sed -i 's/interface=/\ /g' ./"yb_expend"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"yb_expend"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"yb_expend"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"yb_expend"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&user=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&time=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&amount=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&balance=/, /g' ./"yb_expend"/$tarfile
  sed  -i 's/&level=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&reason=/, /g' ./"yb_expend"/$tarfile

  cat ./"yb_expend"/$tarfile >> yb_expend_after.txt
  i=$(($i+1))
done

echo "yb_expend file number is"$i
echo "done yb_expend  , and yb_expend file number is "$i >> result_log.txt

rm -fr tt.txt



#!/bin/bash

rm -fr tt.txt
ls  yb_expend  > tt.txt
#find ./yb_expend/ -name "*.txt" > tt.txt


let i=0
for tarfile in `cat tt.txt`
do
  echo ./"yb_expend"/$tarfile
  sed  -i 's/reason=65$//g'  ./"yb_expend"/$tarfile
  sed  -i 's/reason=74$//g'  ./"yb_expend"/$tarfile  #删除reason=74的行列
  sed  -i 's/&balance[^&]*//g'  ./"yb_expend"/$tarfile  #删除balance 列
  sed -i 's/interface=/\ /g' ./"yb_expend"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"yb_expend"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"yb_expend"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"yb_expend"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&user=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&time=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&amount=/, /g'  ./"yb_expend"/$tarfile
  sed   -i 's/&balance=/, /g' ./"yb_expend"/$tarfile
  sed  -i 's/&level=/, /g'  ./"yb_expend"/$tarfile
  sed  -i 's/&reason=/, /g' ./"yb_expend"/$tarfile

  cat ./"yb_expend"/$tarfile >> yb_expend_after.txt
  i=$(($i+1))
done

echo "yb_expend file number is"$i
echo "done yb_expend  , and yb_expend file number is "$i >> result_log.txt

rm -fr tt.txt




#!/bin/bash

rm -fr tt.txt
ls  shop_buy  > tt.txt
#find ./shop_buy/ -name "*.txt" > tt.txt

let i=0
for tarfile in `cat tt.txt`
do
  echo ./"shop_buy"/$tarfile
  sed -i 's/interface=/\ /g' ./"shop_buy"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"shop_buy"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"shop_buy"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"shop_buy"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"shop_buy"/$tarfile
  sed   -i 's/&user=/, /g'  ./"shop_buy"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"shop_buy"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"shop_buy"/$tarfile
  sed  -i 's/&time=/, /g'  ./"shop_buy"/$tarfile
  sed   -i 's/&balance=/, /g' ./"shop_buy"/$tarfile
  sed  -i 's/&itemid=/, /g' ./"shop_buy"/$tarfile
  sed  -i 's/&amount=/, /g'  ./"shop_buy"/$tarfile
  sed   -i 's/&money=/, /g'  ./"shop_buy"/$tarfile
  sed  -i 's/&level=/, /g'  ./"shop_buy"/$tarfile
  sed  -i 's/&remain=/, /g' ./"shop_buy"/$tarfile
  sed  -i 's/&map_id=/, /g' ./"shop_buy"/$tarfile

  cat ./"shop_buy"/$tarfile >> shop_buy_after.txt
  i=$(($i+1))
done

echo "shop_buy file number is"$i
echo "done shop_buy , and shop_buy file number is "$i >> result_log.txt
rm -fr tt.txt



#!/bin/bash

rm -fr tt.txt
ls  yb_income  > tt.txt
#find ./yb_income/ -name "*.txt" > tt.txt

let i=0
for tarfile in `cat tt.txt`
do
  echo ./"yb_income"/$tarfile
  sed -i 's/interface=/\ /g' ./"yb_income"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"yb_income"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"yb_income"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"yb_income"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"yb_income"/$tarfile
  sed   -i 's/&user=/, /g'  ./"yb_income"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"yb_income"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"yb_income"/$tarfile
  sed  -i 's/&time=/, /g'  ./"yb_income"/$tarfile
  sed  -i 's/&amount=/, /g'  ./"yb_income"/$tarfile
  sed   -i 's/&balance=/, /g' ./"yb_income"/$tarfile
  sed  -i 's/&level=/, /g'  ./"yb_income"/$tarfile
  sed  -i 's/&reason=/, /g'  ./"yb_income"/$tarfile

  cat ./"yb_income"/$tarfile >> yb_income_after.txt
  i=$(($i+1))
done

echo "yb_income file number is"$i
echo "done yb_income, and yb_income file number is "$i  >> result_log.txt
rm -fr tt.txt



#!/bin/bash

rm -fr tt.txt
ls  logout  > tt.txt
#find ./logout/ -name "*.txt" > tt.txt

let i=0
for tarfile in `cat tt.txt`
do
  echo ./"logout"/$tarfile
  sed -i 's/interface=/\ /g' ./"logout"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"logout"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"logout"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"logout"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"logout"/$tarfile
  sed   -i 's/&user=/, /g'  ./"logout"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"logout"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"logout"/$tarfile
  sed  -i 's/&time=/, /g'  ./"logout"/$tarfile
  sed  -i 's/&level=/, /g'  ./"logout"/$tarfile
  sed  -i 's/&map_id=/, /g'  ./"logout"/$tarfile
  sed   -i 's/&ip=/, /g'  ./"logout"/$tarfile
  sed   -i 's/&onlinetime=/, /g' ./"logout"/$tarfile
  sed  -i 's/&group=/, /g'  ./"logout"/$tarfile

  cat ./"logout"/$tarfile >> logout_after.txt
  i=$(($i+1))
done

echo "logout file number is"$i
echo "done logout, and logout file number is "$i  >> result_log.txt
rm -fr tt.txt






#!/bin/bash

#rm -fr tt.txt
ls  recharge  > tt.txt
#find ./recharge/ -name "*.txt" > tt.txt

i=0
for tarfile in `cat tt.txt`
do
  echo ./"recharge"/$tarfile
  sed -i 's/interface=/\ /g' ./"recharge"/$tarfile
  sed  -i 's/&gname=/, /g'   ./"recharge"/$tarfile
  sed   -i 's/&gid=/, /g'   ./"recharge"/$tarfile
  sed  -i 's/&sid=/, /g'    ./"recharge"/$tarfile
  sed  -i 's/&oldsid=/, /g'  ./"recharge"/$tarfile
  sed   -i 's/&user=/, /g'  ./"recharge"/$tarfile
  sed   -i 's/&roleid=/, /g'  ./"recharge"/$tarfile
  sed   -i 's/&dept=/, /g'  ./"recharge"/$tarfile
  sed  -i 's/&time=/, /g'  ./"recharge"/$tarfile
  sed  -i 's/&amount=/, /g'  ./"recharge"/$tarfile
  sed   -i 's/&money=/, /g'  ./"recharge"/$tarfile
  sed   -i 's/&balance=/, /g' ./"recharge"/$tarfile
  sed  -i 's/&level=/, /g'  ./"recharge"/$tarfile
  sed  -i 's/&order=/, /g'  ./"recharge"/$tarfile
  sed  -i 's/&channel=/, /g' ./"recharge"/$tarfile
  cat ./"recharge"/$tarfile >> recharge_after.txt
  i=$(($i+1))
done

echo "recharge file number is"$i
echo "done recharge , and recharge file number is "$i >> result_log.txt
rm -fr tt.txt
~                  





8,

#cat list_make_base_para.sh

遍历101.× 的目录，  然后查找所有 *.tar.gz 文件  到 service.list 中。

[root@10-10-159-137 ip_101.198]# vim list_make_base_para.sh

#!/bin/bash

#echo $1

find . -name "101.*"  > ip_101.198.txt

sed  -i 's/.\// /g'  ip_101.198.txt

for ip_addr in `cat ./ip_101.198.txt`
do
  find "/data/actlog/"$ip_addr -name "*.gz" > ip_101.198_list.txt
done




9， shell 分隔符

#!/bin/bash
oldIFS=$IFS
echo $IFS

IFS=$':'
for i in `cat /etc/passwd`;
do
echo $i
done;
IFS=$oldIFS




10， 追加文件到 文件末尾

#!/bin/bash

i=0
echo "current time is: "$(date)

for fullfile in `ls yb_expend`
do
        fill=${fullfile:0:18}
        tarfile="bf4c52cbd9cd/"$fill".tar.gz"
        echo $tarfile
        echo $fullfile
        tar -zxvf $tarfile
        rm -fr $tarfile
        logfile=`ls act.log.*`
        echo "here is my: "$logfile
        sed  -i 's/gameinfo interface=yb_expend*//g'  $logfile

        linenumbers=`sed -n '$='  $logfile`
        centerline=`expr $linenumbers / 2`
        echo ./yb_expend/$fullfile


        cat ./yb_expend/$fullfile >> $logfile
        #sed -i '200r ./yb_expend/$fullfile '  $logfile
        tar czf $tarfile $logfile
        echo "current time is: "$(date)
        rm ./act.log.*
done



11： 修改   修改时间

for fullfile in `ls .`
do
        fill=${fullfile:8:4}${fullfile:13:2}${fullfile:16:2}
        fill=$(($fill+1))

        touch -d "$fill 01:03:00"  $fullfile
        echo "$fill 01:03:00"
done


bamboolsu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常用shell脚本总结
07-09
在IT行业中，Shell脚本是一种极其重要的工具，尤其在Linux和Unix系统中，它被广泛用于自动化日常任务、管理系统和...在实践中，不断学习和积累经验，你会对shell脚本有更深入的理解，从而更好地利用这个强大的工具。
shell编程教程
09-15
通过以上介绍，你可以了解到Shell编程的基础知识，但要成为一名熟练的Shell程序员，还需要大量实践和经验积累。本教程的PDF文档将详细指导你逐步学习和掌握这些技能，祝你在学习过程中取得丰硕成果。
shell脚本学习积累
最新发布
qq_39227541的博客
09-06 284
注意`` 可以将【一个命令的输出】作为作为【另一个命令的输入参数】，其中mtime是过去24小时修改的意思。
sed点滴积累
Acorld
03-22 1092
sed -i '' 's/nil/null/' main.m  替换xx文件中的"nil"为'null'，保存为main.m sed -n p xxx  查看xxx文件 grep -c model ViewController.m 或者 sed -n '/model/p' ViewController.m|sed -n '$='  ViewCo
sed使用日常积累
lintengfeidemaozi的博客
08-05 157
2018年8月5日8:41:49 修改/etc/named.rfc1912.zone,添加多行文字 zone "test.com" IN{ type master; file "test.com.zone"; } 命令：sed -i -e '$a\zone "test.com" IN{\n\ttype master;\n\tfile "test.com.zone"\n}' ...
Linux中sed与awk的区别,shell中sed和awk的一些用法和例子
weixin_36057482的博客
05-13 141
介绍做运维的应该经常用sed和awk这两个工具，但要想把他们用得好绝非易事，需要长时间的积累，本文就粗略的谈谈日常中用到的一些例子。正文1 如何在shell中获取字符串string的长度echo ${#string}2 替换文件text中一个或多个空格sed -i "s/ \+/||/g" test注释：\+意思是之前字符的一个或多个3 删除文件text中“[”和“]”两个字符sed -i -e ...
Shell脚本日常积累
XiaoPawnYe的博客
12-28 780
文章目录1.shell脚本调试技巧2.Shell脚本自动化交互式3.Shell的前后台4.vi命令(编辑模式)4.shell数组5.shell数值6 awk命令7.字符串的分割8.常用的linux命令 1.shell脚本调试技巧 #1.Windows下编辑的脚本需要使用dos2unix格式化 dos2unix demo.sh #2.使用bash命令参数调试 -n：不会执行该脚本，仅查询脚本语法是否有问题，并给出错误提示 -v：在执行脚本时，先将脚本的内容输出到屏幕上，然后执行脚本，如果有错误，也会给出错误
Shell脚本知识点积累
fracong的博客
07-17 175
1.字符串； 2.if...elif...else的使用； 3.获取键盘输入； 4.文件的读写； 5.退出程序exit；
shell积累
qq_18536071的专栏
08-31 454
e filename 如果 filename存在，则为真 -d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真 -L filename 如果 filename为符号链接，则为真 -r filename 如果 filename可读，则为真 -w filename 如果 filename可写，则为真 -x
Shell编程积累 zhuan
aocandr8991的博客
05-29 129
在新的shell里执行程序 cd /home/lq/Server/anew-lstm_scriptmatlab -nodesktop -singleCompThred -r 'aStart' ,quit & SLAVE_PID=$!;#echo "sh ./slaveRun.sh localhost 10000 localhost localhost" | xfce4-te...
shell脚本积累
阿鹏的笔记
10-25 915
编者注：shell脚本的学习只有一个方法，那就是多练，多练，多练。嗯，重要的事情说三遍。 RANDOM和Seq的使用 练习1：编写脚本清空所有arp缓存记录： #！/bin/bash for i in $(arp | tail -n +2|tr -s ' ' |cut -d' ' -f1) do arp -d $i done 练习2：产生3个随机数： 方法1：
Shell脚本批量清除Nginx缓存
09-15
然而，随着时间的推移，缓存可能会积累不必要的数据，这时就需要定期清理，以保持最佳性能。本文将介绍如何使用Shell脚本批量清除Nginx的缓存。 首先，我们需要了解Nginx缓存的工作原理。Nginx在接收到客户端请求时...
Linux Shell脚本编写基础
09-22
### Linux Shell脚本编写基础 #### 一、概述 Linux Shell脚本是自动化任务和管理Linux系统的强大工具。...随着经验的积累，还可以进一步学习更高级的主题，如函数、数组以及更复杂的流程控制结构。
shell学习心得
08-07
### Shell学习心得 #### Shell简介 Shell是一种计算机操作系统壳层，用作用户与操作系统内核之间的接口。...通过不断实践和积累经验，你可以编写出更加高效、健壮的脚本来应对各种复杂的任务需求。
Linux检测硬盘坏道 与 修复
热门推荐
探秘
01-23 1万+
1, smartctl 监测你的硬盘 - 提前预报系统SMART 前言： 大家心理最怕的不是安装某个系统，而是辛辛苦苦安装之后，忽然有一天硬盘坏了，又没有备份(DAT，DLT之类磁带机贵得吓死人)。怎么样才能知道你的硬盘能否过新年呢?(硬盘状态如何?) 特别是如果能够提前预报，告诉大家硬盘快顶不住了，那该多好。   快速检查硬盘是否有问题 #sm
Linux文件关联详解 linux 修改默认文件关联打开程序
探秘
01-23 7020
linux 修改默认文件关联打开程序 从总体上讲 /etc/gnome/defaults.list 保存了全局的打开方式 /.local/share/applications/mimeapps.list 保存了个人的打开方式 当两着不一致是，优先采用局部的个人设置。 例如，ubuntu8.04下多媒体文件默认是用Totem打开的，如果你想要改成用smplayer（本人比较喜欢用这个
shell+sed+awk和perl和python的区别
探秘
01-23 5903
sed 是一个编辑器（行） awk 是一个文本处理工具（行） shell  perl python 是编程语言 最近开始学习shell+sed+awk，偶然在LinuxSir.Org看到下面这篇网友评论文章，觉得有点意思，就摘抄到此，让更多需要的人容易看到它！ shell+sed+awk 三者中功能最弱，没有调试程序，大多数操作必须通过运行
linux 下显卡 网卡 声卡 信息的查看
探秘
01-23 5321
各个linux版本间命令可能不同  以下仅供参考   1, 主板信息 .查看主板的序列号 -------------------------------------------------- #使用命令 dmidecode | grep -i 'serial number' #查看板卡信息 cat /proc/pci -------------
Shell脚本编程入门与实战
"Shell脚本编程课程" Shell脚本编程是一种在Linux或Unix系统中广泛使用的自动化工具，它允许用户编写一系列命令以实现批量处理、任务调度...随着经验的积累，还可以深入学习数组、循环、函数等更高级的Shell编程概念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值