shell私房菜 part1

shell私房菜 part2 传送门

shell私房菜 part3 传送门 

有段时间我是做search服务器集群运维的，当时管过四五十台机器，shell这个工具就略懂，真的是略懂，因为只是为了应付工作，解决问题，没有系统去学习过。

分享这件事，上回boss开会要求写的时候，我正好去滨江拿戒指了，回来后在7F关小黑屋做电影票客户端，虽然看见一大堆的分享文档，觉得很好，但是没有动手，直到昨天双月会boss又在提醒。那么就来整理一下我所知道的shell吧，分享给大家，目标当然是“没有蛀牙”，因为这篇文确定一定以及肯定是干货。

 Now let’s begin

 先上一些体会和感受：

1，和任何语言或是工具一样长期不用就会忘记的，于是你需要一个手册，一个备忘，anything you name it,或者就是这篇分享。

2，Shell使用有两个场景，一个是命令行写一堆然后回车执行，一个写成shell文件调用执行。See，淡妆浓抹总相宜。

3，Shell几乎是最容易调试的语言了，不靠任何工具（也没有），就是echo输出和exit中断（或是break），大爱。

 如果我从ABC写到Apple写到Apple a day keep doctor away，估计没有什么人能看完，也就不能达到“没有蛀牙”的目的。于是就从一些较实战的例子开始吧，show me the power先，是也。

 csv变SQL

小罗拿到了一批电影院的新坐标，存在一个csv文件里面了，没要少到手工编辑就能搞定的程度，也没有多到值得去写一个逻辑严密，效率高上，什么多线程多进程都要用上的程序，而且还是个一次性的工作。他来找我，下面我就还原一下当时解决问题的过程，红色字是命令行啊，（在括号里的绿色的字是注释啊），浅蓝色字是屏幕输出啊。

 先看看输入文件吧：

head abcd.csv  （head比cat好啊，看部分文件，还可以带-n参数，大爱）

id,location

5510,"30.736008,116.827141"

5797,"31.543723,120.288912"

5389,"30.513433,117.034429"

 问下目标的sql什么样：

update tkm_cinema set latitude='30.736008',longitude='116.827141' where id=5510;

update tkm_cinema set latitude='31.543723',longitude='120.288912' where id=5797;

update tkm_cinema set latitude='30.513433',longitude='117.034429' where id=5389;

 因为输出中是没有双引号的，所以先把双引号去掉吧。写下面的这行命令的时候不用全部重新写的，上箭头就能把“head abcd.csv”翻出来的，善用上箭头，少写n多字。

head abcd.csv |sed -e 's:"::g'（|是管道啊，这是shell的基础功能，管道两个字翻译非常形象，|左边的命令的输出，作为右边的命令的输入。在这里就是head的输出，作为sed的输入。sed是行内字符串替换工具，shell里很常用到的工具，sed –e ’s:原字符串:替换字符串:g’是常用的样式，这里原字符串是“双引号，替换成空串，sed后面有详细讲的link）

id,location

5510,30.736008,116.827141

5797,31.543723,120.288912

5389,30.513433,117.034429

 

现在每行中的数据就干净了，由逗号分隔，第一列id号，第二列维度值，第三列精度值。下面就该awk出场了大家欢迎。

head abcd.csv |sed -e 's:"::g'|awk -F',' '{print $1,$2,$3}'（从左向右看，|管道兄你好啊，sed兄健在啊，awk，我擦，大神出现鸟，看灰机。awk也是行内字符串工具啊，也就是输入数据按行（ascii字符\n）处理，-F参数是可选的，指定行内列分隔符，如果不指定，那空格或是\t就是默认分隔符，第二个参数是一个单引号字符串，里面其实是一串awk指令，awk强大到有自己完备的语法不输shell，很变态的，汗一个。我们这里简单用，就用到awk的输出指令print，$1是列分割出来的第一列，$2是第二列，$3是第三列，就这么简单）

 d location

5510 30.736008 116.827141

5797 31.543723 120.288912

5389 30.513433 117.034429

 

现在我已经可以每行里面可以拿到三个值，并且能用变量表示了（awk的$1$2$3就是变量），那就组装个sql呗

head abcd.csv |sed -e 's:"::g'|awk -F',' '{print "update tkm_cinema set latitude="$2",longitude="$3" where id="$1";"}'（上箭头一翻，各位兄神恶煞都在哈，把awk的第二个参数，指令串改改，指令串是在单引号中的那堆。其中print是指令base，print后面到单引号结束，其实是print的参数，参数由常量字符串和变量字符串混搭组成。在双引号中的常量字符串会原样输出，$1$2$3会变成相应的数值输出。Print那堆看上去复杂其实就是print “xxxx”$2”yyyy”$3”zzzz”$1”kkkk”把它弄成一个update的sql串就好）

,longitude= where id=id;titude=location

 where id=5510;ma set latitude=30.736008,longitude=116.827141

 where id=5797;ma set latitude=31.543723,longitude=120.288912

 where id=5389;ma set latitude=30.513433,longitude=117.034429

 

但是输出不对嘛，错乱了，这个其实是因为$3被awk切分出来时带着回车符（输入位置到行首）的，我们再在awk的前面做点处理，把回车符去掉。

 

head abcd.csv |sed -e 's:"::g'|sed -e 's:\s::g'|awk -F',' '{print "update tkm_cinema set latitude="$2",longitude="$3" where id="$1";"}'（和上条命令行相比，在awk之前，用管道|，再插入一个sed命令，sed -e 's:\s::g'，就搞定了，我sed v5吧）

update tkm_cinema set latitude=location,longitude= where id=id;

update tkm_cinema set latitude=30.736008,longitude=116.827141 where id=5510;

update tkm_cinema set latitude=31.543723,longitude=120.288912 where id=5797;

update tkm_cinema set latitude=30.513433,longitude=117.034429 where id=5389;

 

对比目标输出，现在还有个问题，latitude=30.736008还需要有单引号，方法有两种，这个糖哥当时也不知道如何打印单引号，因为单引号是用来包住整个指令串的，于是问度娘，方法1是在双引号的范围中用’\’’（单单左单），如此，输出会打印出一个单引号，方法2是在双引号的范围中用\047，输出中也会打印出一个单引号。

head abcd.csv |sed -e 's:"::g'|sed -e 's:\s::g'|awk -F',' '{print "update tkm_cinema set latitude='\''"$2"'\'',longitude=\047"$3"\047 where id="$1";"}'（还是照旧上箭头翻出来命令行再进行更改哈，两种单引号的方法都用了一下，好使）

update tkm_cinema set latitude='location',longitude='' where id=id;

update tkm_cinema set latitude='30.736008',longitude='116.827141' where id=5510;

update tkm_cinema set latitude='31.543723',longitude='120.288912' where id=5797;

update tkm_cinema set latitude='30.513433',longitude='117.034429' where id=5389;

 

基本上解决了，但是第一行不爽，第一行是csv的列标题不要出现，请出grep来帮忙，grep是行过滤工具，基本上糖哥最常用的shell，没有之一哈。日常居家，出门旅行，必备工具啊。

head abcd.csv |grep -v location|sed -e 's:"::g'|sed -e 's:\s::g'|awk -F',' '{print "update tkm_cinema set latitude='\''"$2"'\'',longitude=\047"$3"\047 where id="$1";"}'（还是照旧上箭头翻出来哈，用ctrl+a把光标移动到行首也是常用技啊，grep过滤字符，表示如果行内有和过滤字符匹配一致的，就输出，grep –v过滤字符，表示如果行内有和过滤字符匹配的，就不输出，location是仅仅在csv第一行出现的，就用它来过滤喽）

update tkm_cinema set latitude='30.736008',longitude='116.827141' where id=5510;

update tkm_cinema set latitude='31.543723',longitude='120.288912' where id=5797;

update tkm_cinema set latitude='30.513433',longitude='117.034429' where id=5389;

 

现在输出完美了，最后把head换成cat就ok啦，head代替cat就是在调试啊，有木有。

cat abcd.csv |grep -v location|sed -e 's:"::g'|sed -e 's:\s::g'|awk -F',' '{print "update tkm_cinema set latitude='\''"$2"'\'',longitude=\047"$3"\047 where id="$1";"}'（还是照旧上箭头翻出来哈，用ctrl+a把光标移动到行首，用ctrl+e把光标移动到行尾也用起来吧，这两个shell命令行快捷键是一对的）

 

打印在屏幕上没法用，好吧最后一招输出重定位

 

cat abcd.csv |grep -v location|sed -e 's:"::g'|sed -e 's:\s::g'|awk -F',' '{print "update tkm_cinema set latitude='\''"$2"'\'',longitude=\047"$3"\047 where id="$1";"}'  > test.sql（还是照旧上箭头翻出来哈，这么长的命令行，全部重写要吐血的，>输出文件，表示将打在屏幕上的东西都存到一个文件中，这个文件没有就自动创建哈，如果有，原来内容会消失啊，切记切记）

 

 

这个就是那天我给罗成把csv文件变成sql文件的全过程的还原，是一个逐步逼近目标的过程，每个步骤都更接近目标输出，所以越来越有成就感。

 

 

上面用到了shell重要的基础设施是，|管道，>输出重定向

也用到了shell重要的行处理工具grep, sed, awk

根据糖哥的经验，如果能用好这5个东西，命令行下的shell就已经有点意思了，略懂也都称得上了，shell本就不算一个复杂东西。

 

 

当然，grep还好，简单易用，sed和awk要完全看完看懂，是会要了钦命的。

但是sed的替换，awk的print按列打印是不难的，用管道把它们三个串起来就能够解决很多的行处理问题了。

 

写干货文档好苦逼啊，今天先到这里，我看看邮件有没有回复，大家想知道什么，如果没有，下一次糖哥接着讲赋值，循环，if。

 

 

附上grep，sed，awk的文档link。

 

grep的http://blog.csdn.net/gnuhpc/article/details/4323415其中-i -v -n –E参数常用到，重点看看，see，这个算简单的工具，完全说清楚也很多的。

 

sed的http://blog.csdn.net/zhangjie11/article/details/6445115其中-e -i参数常用到，替换：s命令常用到，重点看看。

 

awk的http://www.anyshare.org/open/392.html这个还是简版的，真正的AWK有一本书要讲的，再次汗，糖哥也就简单会用，真的只是略懂了。