Shell命令
文章平均质量分 82
OkidoGreen
这个作者很懒,什么都没留下…
展开
-
Linux rsync数据定时增量备份
1./etc/crontab中的为系统任务,只有root可以设定,而crontab -e设置的定时任务为用户任务,设定完成后会将任务自动写入/var/spool/cron/usename文件。2.在/etc下创建密码文件rsync_client.pas,注意内容只有密码,且与服务端密码文件中的密码相同。在/etc中创建文件rsync_server.pas,加入用户名与密码,内容格式为:用户名:密码。2./etc/crontab中的任务需要指定用户名,crontab -e不需要。...转载 2022-08-18 11:08:23 · 1483 阅读 · 0 评论 -
Shell的后台运行(&)与nohup
shell的后台运行(&)与nohup简述在shell脚本中当我们需要把一个任务放在后台运行时,通常我们会使用&符号:subcommand &此时主进程会继续往下执行,而子进程会在后台启动运行。于此同时,我们常会看到nohup会和后台任务一起使用,格式是:nohup subcommand &nohup在这里起了什么角色呢。nohupnohup起两个作用:正如名字所声称的,忽略所有发送给子命令的挂断(SIGHUP)信号nohu转载 2021-03-12 08:28:20 · 1802 阅读 · 0 评论 -
linux中的分号&&和&,|和||说明与用法
在用linux命令时候,我们可以一行执行多条命令或者有条件的执行下一条命令,下面我们讲解一下linux命令分号&&和&,|和||的用法“;”分号用法方式:command1 ; command2用;号隔开每个命令, 每个命令按照从左到右的顺序,顺序执行, 彼此之间不关心是否失败, 所有命令都会执行。“| ”管道符用法上一条命令的输出,作为下一条命令参数方式:command1 | command2Linux所提供的管道符“|”将两个命令隔开,管道符左边命令的输转载 2021-03-05 14:29:22 · 489 阅读 · 0 评论 -
Systemd基础篇:systemd vs SysVinit
Systemd已经基本取代了SysV的Init,这篇文章从几个方面整理一下Systemd与Init的使用上的区别。命令比较: SysVinit vs Systemd命令用途 SysVInit命令 Systemd命令 服务启动 service 服务名 start systemd start 服务名.service (.service可省略,后同) 服务停止 service 服务名 stop systemctl stop 服务名 服务重启 servi转载 2021-02-19 17:18:17 · 941 阅读 · 0 评论 -
Linux - nohup - 实现后台运行程序及查看(nohup与&)
1. 后台执行一般运行linux上的程序都是执行.sh文件(./sh文件),那如果不影响当前CMD窗口的操作,需要后台运行怎么办呢?这时就需要借助 nohup 和 & 命令来实现。nohup java -server -Xms128M -Xmx512M -XX:MetaspaceSize=128M -jar test.jar $1 $2 $3 &(1) nohup加在一个命令的最前面,表示不挂断的运行命令(2) &加载一个命令的最后面,表示这个命...转载 2021-02-09 08:45:16 · 1078 阅读 · 0 评论 -
linux lsof/netstat查看进程和端口号相关命令:
在linux操作时,经常要查看运行的项目的进程和端口号,在这里总结了以下常用到的相关命令: 1.查看系统运行的java项目,并查看进程号 这个用到的命令为: ps -ef|grep java这个在命令在上一篇讲过,地址为:http://www.cnblogs.com/zjdxr-up/p/8405982.html。 2.lsof命令:根据进程pid查端口:lsof -i | grep pid其中,java表示项目运行类型,22636表示...转载 2020-05-26 19:44:08 · 781 阅读 · 0 评论 -
关于sed替换成回车符,两种方案
方法一sed 's/test/\n/g' filenameecho "a;b" | sed 's/;/\n/g'方法二shift 回车 ,人肉敲一个空格echo "a;b" | sed 's/;/\/g'sed 's/test/\/g' filename该方法适用一些老版本(比如Mac上方法一就无效,需要第二种),注意 换行 前的转义符...转载 2020-02-06 13:03:08 · 1920 阅读 · 0 评论 -
Linux命令之grep/sed/awk等行转列
行转列(awk):awk -F "+" '{for(i=1;i<=NF;i++) a[i,NR]=$i}END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf a[i,j] " ";print ""}}' file.txtawk 'BEGIN{i=1}{gsub(/#/,"\t"i"\n");i++;print}' uids|s...转载 2020-02-06 12:46:10 · 1354 阅读 · 0 评论 -
awk输出单引号,双引号
双引号:awk '{print "\""}' #放大:awk '{print"\""}'使用“”双引号把一个双引号括起来,然后用转义字符\对双引号进行转义,输出双引号。单引号:awk '{print "'\''"}' # 放大: awk '{print"'\ ''"}'使用一个双引号“”,然后在双引号里面加入两个单引号‘’,接着在...转载 2020-02-06 12:42:06 · 2024 阅读 · 0 评论 -
awk 字符串连接操作(字符串转数字,数字转字符串)
https://www.cnblogs.com/chengmo/archive/2010/10/09/1846639.htmlawk中数据类型,是不需要定义,自适应的。 有时候需要强制转换。我们可以通过下面操作完成。一、awk字符串转数字[chengmo@centos5 ~]$ awk 'BEGIN{a="100";b="10test10";print (a+b+0);}'1...转载 2019-06-11 22:08:28 · 1655 阅读 · 0 评论 -
Linux Shell脚本编程--cut命令
按行截取操作cutcut命令可以从一个文本文件或者文本流中提取文本列。cut语法[root@www ~]# cut -d'分隔字符' -f fields <==用于有特定分隔字符[root@www ~]# cut -c 字符区间 <==用于排列整齐的信息选项与参数:-d :后面接分隔字符。与 -f 一起使用;-f :依据 -d 的分隔...转载 2019-06-07 00:10:26 · 985 阅读 · 0 评论 -
AWK命令 实现分组 group_concat的效果,合并相同列的其他数据列
txt结构如下cost_amount,cost_type,coupon_amount,coupon_name,coupon_source,coupon_type, ctime, etime, id,order_amount_limit, order_id, phone, stime,user_coupon_status, u...原创 2019-06-11 22:23:55 · 1840 阅读 · 0 评论 -
awk将相同键值的字符串拼接一起输出
awk将相同键值的字符串拼接一起输出。每一行中第一列的数据是键,其余列为值。文本1.txt中的内容是abc 1 2 3 abc a1 b1 c1abc a2 b2 c2abd a2 b2 c2hello hello_value1 hello_value2hello hello_value3 hello_value456awk '{key=$1;$1="";value...转载 2019-06-28 12:27:22 · 1422 阅读 · 0 评论 -
AWK输出文件内不是 数字的 那一行
关键词:~:正则表达式匹配!~:正则表达式 不匹配awk '{if($0 !~ /^[0-9]+$/) print $0;}' cola_9转载 2019-07-15 12:39:24 · 2554 阅读 · 0 评论 -
批量去除文件后缀,mv | rename
https://blog.51cto.com/m51cto/2049591如图,文件的后缀有很多的bak,使用一个shell脚本快速批量去除。脚本内容如下:[root@aiker01 rename]# vim rename.sh#!/bin/bash#by Aikerfor i in `ls | grep .bak`; do mv $i `echo "$i" | awk -F...转载 2019-07-19 23:10:07 · 2516 阅读 · 0 评论 -
Linux Shell 批量重命名的方法总览
https://blog.csdn.net/kwame211/article/details/760198230、用类似 GPRename 这样的图形软件进行批量重命名1、删除所有的 .bak 后缀:rename 's/\.bak$//' *.bak2、把 .jpe 文件后缀修改为 .jpg:rename 's/\.jpe$/\.jpg/' *.jpe3、把所有文件的文件名改为...转载 2019-07-20 00:02:22 · 853 阅读 · 0 评论 -
Shell-文本分割重命名合并(塞券使用)
将文件中的数字行输出或转至另一文件中awk '{if($0 ~ /^[0-9]+$/) print $0;}' xpxp_0 >12312.txt~:匹配;!~ :不匹配按照行数分割文件split -l 2 -d bb xxx将bb 按2行分割,生成 xxx01 xxx02 xxx03 ...批量重命名文件for i in `ls | grep .txt` ; ...原创 2019-07-26 13:53:36 · 812 阅读 · 0 评论 -
shell得到两个文件的差集
今天有个统计的需求,计算今天比昨天新增加的数据。有两个文件a和b,a是最新文件,b是昨天的文件,需要计算出在a中出现又没出现在b中的数据。a和b都是这样的文件格式,只有一列id,且无序的290758290710290688290411290409290224290223290221290194有如下集中实现方式:1、java,把b读到List中,遍历a...转载 2019-07-26 16:56:11 · 1747 阅读 · 0 评论 -
Linux下的tar压缩解压缩命令详解
tar-c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z:有gzip属性的-j:有bz2属性的-Z:有compress属性的-v:显示所有过程-O:将文件解开到标准输出下面的参数-f是必...转载 2017-09-28 17:32:29 · 1390 阅读 · 0 评论 -
Shell命令:paste 按列合并文件内容
测试文本内容如下: # cat name1.txt name1 alvin1 name2 alvin2 name3 alvin3 name4 alvin4 # cat name2.txt name1 100 name2 101 name3 102 cccccccccccccccc (1) pas...转载 2019-06-07 00:05:50 · 9313 阅读 · 1 评论 -
Shell-AWK命令分割文件内容并写入新文件(合并文件)
awk -F '\t' 'NR>900000 {print $1"\r\n"$2}' 2019050802-1800000.txt > result_2.txt分隔符:tab制表符NR > 90000 :从第90001行开始进行操作$1:分割后的第一个子串"":双引号中的内容代表 在两个子串中需要增加的 字符串比如 原始文件a bc ...原创 2019-06-06 23:37:24 · 6602 阅读 · 0 评论 -
linux awk命令详解
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho...转载 2016-12-20 14:33:55 · 849 阅读 · 0 评论 -
文本搜索必学命令-grep egrep fgrep用法以及正则表达式
一、grep、egrep、fgrep命令 本文中主要介绍了linux系统下grep egrep fgrep命令和正则表达式的基本参数和使用格式、方法。(注释:文中fg代表例子,)1.1、基本定义: grep(global search regular RE ) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它只...转载 2017-01-19 11:15:35 · 917 阅读 · 0 评论 -
Linux中cat、more、less、tail、head命令的区别
http://www.cnblogs.com/losbyday/p/5856106.html一、cat 显示文件连接文件内容的工具cat 是一个文本文件(查看)和(连接)工具,通常与more搭配使用,与more不同的是cat可以合并文件。查看一个文件的内容,用cat比较简单,就是cat后面直接接文件名。如:root@ubuntu:/# cat /etc/passwd...转载 2017-03-19 12:59:14 · 2209 阅读 · 0 评论 -
用Linux命令行生成随机密码的十种方法
Linux操作系统的一大优点是对于同样一件事情,你可以使用高达数百种方法来实现它。例如,你可以通过数十种方法来生成随机密码。本文将介绍生成随机密码的十种方法。这些方法均收集于Command-Line Fu,并且在我们自己的Linux PC机上测试过。这十种方法的一些在安装了Cygwin的Windows下也是可以运行的,特别是最后一种方法。生成一个随机密码对于下面的任何一种方法,你可...转载 2017-03-22 10:52:34 · 1045 阅读 · 0 评论 -
crontab用法(例子)
https://www.cnblogs.com/lsmsky/archive/2012/03/08/2385405.html每个操作系统都有它的自动定时启动程序的功能,Windows有它的任务计划,而Linux对应的功能是crontab。crontab简介crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存...转载 2018-07-09 17:10:02 · 1721 阅读 · 1 评论 -
Linux 内核运行参数修改——sysctl命令
https://blog.csdn.net/u012707739/article/details/78254241sysctl命令被用于在内核运行时动态地修改内核的运行参数,可用的内核参数在目录/proc/sys中。它包含一些TCP/ip堆栈和虚拟内存系统的高级选项,用sysctl可以读取设置超过五百个系统变量。sysctl命令用法:sysctl [options] [var...转载 2018-08-15 16:51:52 · 3845 阅读 · 0 评论 -
Linux中使用gzip来压缩/解压 *.gz文件
https://blog.csdn.net/qingsong3333/article/details/77462165gzip 是linux中常见的压缩/解压工具,最常见的使用对象是*.gz格式的文件,这里简单介绍下它最常见的用法,GZIP(1) General Commands Manual GZIP(1)NAME gzip, gunzip, zcat - compress...转载 2018-08-16 13:35:57 · 31103 阅读 · 0 评论 -
xargs命令详解,xargs与管道的区别
https://www.cnblogs.com/wangqiguo/p/6464234.html阅读目录为什么要用xargs,问题的来源 xargs是什么,与管道有什么不同 xargs的一些有用的选项回到顶部为什么要用xargs,问题的来源在工作中经常会接触到xargs命令,特别是在别人写的脚本里面也经常会遇到,但是却很容易与管道搞混淆,本篇会详细讲解到底什么是xargs命令...转载 2018-09-09 19:45:02 · 1131 阅读 · 0 评论 -
Sed 命令替换文件内容
Linux下批量替换多个文件中的字符串的简单方法。用sed命令可以批量替换多个文件中的字符串。命令如下:sed -i “s/原字符串/新字符串/g” `grep 原字符串 -rl 所在目录`例如:我要把 charset=gb2312 替换为 charset=UTF-8,执行命令:sed -i “s/charset=gb2312/charset=UTF-8/g” ‘grep charset=...转载 2016-12-16 15:23:46 · 5017 阅读 · 0 评论 -
每天一个Linux命令 【转】
http://www.cnblogs.com/peida/tag/%E6%AF%8F%E6%97%A5%E4%B8%80linux%E5%91%BD%E4%BB%A4/default.html?page=2转载 2016-11-28 15:10:31 · 711 阅读 · 0 评论 -
linux下sed正则表达式匹配批量替换文件中的内容
https://www.jianshu.com/p/ad3a10fa812ased命令介绍sed是一种流编辑器,它是文本处理中非常有用的工具,能够完美的配合正则表达式使用,功能不同凡响。处理时,把当前处理的行存储在临时缓冲区中,称为『模式空间』(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。...转载 2019-05-29 11:20:25 · 5340 阅读 · 0 评论 -
学习笔记之 curl 命令用法详解
https://www.cnblogs.com/doseoer/p/7044344.html【前言】 本文翻译和整理自 Linux-2.6.32 中和 curl 相关的 Manual Page 描述文档。文档目的仅在提醒读者所遗忘的知识点,故在整理时削弱了阅读流畅性,适用于对 curl 有一定了解的开发人员。【语法】 curl [options] [URL......转载 2019-05-28 18:20:07 · 1755 阅读 · 0 评论 -
CURL Shell下curl的使用
POST请求 http://172.16.102.208:8089/wiapi/score?leaderboard_id=1&score=36&app_key=66 目的1:通过脚本发送post请求。 答案: curl -d "leaderboard_id=7778a8143f111272&score=19&a...转载 2015-06-27 12:40:55 · 7740 阅读 · 0 评论 -
Linux下rz,sz与ssh的配合使用
一般来说,linux服务器大多是通过ssh客户端来进行远程的登陆和管理的,使用ssh登陆linux主机以后,如何能够快速的和本地机器进行文件的交互呢,也就是上传和下载文件到服务器和本地; 与ssh有关的两个命令可以提供很方便的操作: sz:将选定的文件发送(send)到本地机器 rz:运行该命令会弹出一个文件选择窗口,从本地选择文件上传到服务器(receive)rz,sz是便...转载 2015-06-25 15:08:39 · 7059 阅读 · 0 评论 -
Linux常用系统管理命令(top、free、kill、df)
http://www.jb51.net/LINUXjishu/86334.html一、 top1.作用top命令用来显示执行中的程序进程,使用权限是所有用户。2.格式top [-] [d delay] [q] [c] [S] [s] [i] [n]3.主要参数d:指定更新的间隔,以秒计算。q:没有任何延迟的更新。如果使用者有超级用户,则top命令将会以最高的优先序执行。...转载 2017-03-31 12:19:38 · 2866 阅读 · 0 评论 -
Shell命令数据迁移实践
中奖纪录侧数据量:千万级实施方案:数据库层面迁移,新数据一一匹配实施脚本:1、sql整理出需要导出的数据:select a,b,c,d,e,f,g from table_1 into outfile '/data/aaa/haha.csv'fields terminated by ',' optionally enclosed by...原创 2017-04-14 13:56:56 · 1717 阅读 · 0 评论 -
Linux查看CPU和内存使用情况
CPU占用率查看命令:top图中红色部分即为占用百分率,下面是每个进程的CPU占用率,如果服务器是多核CPU可能在下方看到有些进程CPU占用超过100%,这种一般是该进程使用了多核。内存占用率:free -m图中红色部分即为占用,即used、free即为剩余。(注意中在第二行数字中找哦。)-----------------------------------...转载 2016-11-25 10:35:36 · 27342 阅读 · 0 评论 -
Linux Top 命令解析 比较详细
TOP是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序;而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.top - 12:38:33 up 50 ...转载 2016-11-26 16:26:59 · 995 阅读 · 1 评论 -
Linux 基础操作 修改文件
循环A文件中每一行 匹配B文件 ,若相同,将此行写入C文件for i in `cat all.txt` ; do grep -n "$i" zhongxin2.txt >> zhongxin2_result.txt ; done查找日志中 匹配的行数中的 payIdcat lottery.log | egrep 'payGroupCoupon issueCoupon...原创 2016-12-20 15:25:32 · 1644 阅读 · 0 评论