Linux---在大数据风控运营中常用指令

前言

在大数据风控领域，Linux运用主要是运维使用较多，比如：1.实现数仓的定时调度，2.将Python模块部署到服务器实现定时邮件监控，3.搭建数据分析平台，4.线上数据库运维等，下面将介绍Linux在大数据风控领域日常的运用实践。

Linux经常使用的命令汇总

1.文件和目录

cd /home 进入 '/ home' 目录'
cd .. 返回上一级目录
cd ../.. 返回上两级目录
cd 进入个人的主目录
cd user1 进入个人的主目录
cd - 返回上次所在的目录
pwd 显示工作路径 、查看当前工作目录
ls 查看目录中的文件
ll 显示文件和目录的详细资料
ls -a 显示隐藏文件
mkdir dir1 创建一个叫做 'dir1' 的目录'
mkdir dir1 dir2 同时创建两个目录
mkdir -p /tmp/dir1/dir2 创建一个目录树
rm -f file1 删除一个叫做 'file1' 的文件'
rmdir dir1 删除一个叫做 'dir1' 的目录'
rm -rf dir1 删除一个叫做 'dir1' 的目录并同时删除其内容
rm -rf dir1 dir2 同时删除两个目录及它们的内容
mv dir1 new_dir 重命名/移动 一个目录
cp file1 file2 复制一个文件
cp dir/* . 复制一个目录下的所有文件到当前工作目录
cp -a /tmp/dir1 . 复制一个目录到当前工作目录
cp -a dir1 dir2 复制一个目录

实例如下:
cp -a Oracle11g/ /home/oracle/Oracle11g 拷贝当前目录下的Oracle11g 到 oracle用户下的
cd ../oracle/ 从 ly目录到 oracle目录 如下
ls 查看
Mkdir /u02 新建u02文件夹
删除目录下所有文件 ： rm -rf 目录名字
删除某一个文件夹下所有文件： rm -rf 文件夹/*
重命名： mv abc 123
mv与cp的结果不同。mv好象文件“搬家”，文件个数并末增加，而cp对文件进行复制，文件个数增加了
移动文件（复制）： cp - r /usr/xu/ /usr/liu/ 将/usr/xu目录中的所有文件及其子目录拷贝到目录/usr/liu中。
移动文件(剪切)： mv /usr/xu/ * . 将/usr/xu中的所有文件移到当前目录（用“.”表示）中

2、文件搜索

find / -name file1 从 '/' 开始进入根文件系统搜索文件和目录 
find / -user user1 搜索属于用户 'user1' 的文件和目录 
find /home/user1 -name \*.bin 在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件 
find /usr/bin -type f -atime +100 搜索在过去100天内未被使用过的执行文件 
find /usr/bin -type f -mtime -10 搜索在10天内被创建或者修改过的文件 
find / -name \*.rpm -exec chmod 755 '{}' \; 搜索以 '.rpm' 结尾的文件并定义其权限 
find / -xdev -name \*.rpm 搜索以 '.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备 

3、查看文件内容

cat file1 从第一个字节开始正向查看文件的内容 
tac file1 从最后一行开始反向查看一个文件的内容 
more file1 查看一个长文件的内容 
less file1 类似于 'more' 命令，但是它允许在文件中和正向操作一样的反向操作 
head -2 file1 查看一个文件的前两行 
tail -2 file1 查看一个文件的最后两行 
tail -f /var/log/messages 实时查看被添加到一个文件中的内容 

4、文本处理

cat file1 | command( sed, grep, awk, grep, etc...) > result.txt 合并一个文件的详细说明文本，并将简介写入一个新文件中 
cat file1 | command( sed, grep, awk, grep, etc...) >> result.txt 合并一个文件的详细说明文本，并将简介写入一个已有的文件中 
grep Aug /var/log/messages 在文件 '/var/log/messages'中查找关键词"Aug" 
grep ^Aug /var/log/messages 在文件 '/var/log/messages'中查找以"Aug"开始的词汇 
grep [0-9] /var/log/messages 选择 '/var/log/messages' 文件中所有包含数字的行 
grep Aug -R /var/log/* 在目录 '/var/log' 及随后的目录中搜索字符串"Aug" 
sed 's/stringa1/stringa2/g' example.txt 将example.txt文件中的 "string1" 替换成 "string2" 
sed '/^$/d' example.txt 从example.txt文件中删除所有空白行 
sed '/ *#/d; /^$/d' example.txt 从example.txt文件中删除所有注释和空白行 
echo 'esempio' | tr '[:lower:]' '[:upper:]' 合并上下单元格内容 
sed -e '1d' result.txt 从文件example.txt 中排除第一行 
sed -n '/stringa1/p' 查看只包含词汇 "string1"的行 

具体的查看文件内容，请参考： linux 查看文件内容的命令 http://www.flybi.net/article/41

5、其他常用指令

1、nohup /root/start.sh & 原程序的的标准输出被自动改向到当前目录下的nohup.out文件，起到了log的作用。 &让程序到后台去运行
2、Linux目录结构介绍（bin存放可执行文件、boot:虚拟光驱、etc:存放的配置文件,home:用户的家目录，opt 存放大文件的安装目录、root的家目录、sbin 只有root权限可执行的文件,tmp临时文件，自动清理，usr存放小文件的安装目录）
3、history 查看执行过的命令
4、一个Tab补全,两个Tab把关联上的语句全部罗列出来。
5、CTRL+R 可以用于查找执行过的命令
6、touch 创建文件及更新目录的时间
7、把所有的命令保存到一个文件里面进行查看的方式如下：ls - al | history > log
       ls -al | less 利用管道传输到less命令中就可以分页看了。或者你可以用ls -al > filename 把内容写到一个文件里面。
8、创建文件用 touch  后加你想创建的文件名 如 touch aa  编辑的话 就是 vi aa  保存是w 退出是 q 保存退出用wq 强制退出保存wq！这必须是在末行模式下（按ctrl+；）
9、源代码形式安装（以tar.gz归档压缩文件）。源代码基本编译流程： a、 ./configure 检查编译环境、相关库文件以及配置参数并生成markfile b、make对源代码进行编译，生成可执行文件. c、make install 将生成的可执行文件安装到当前计算机中 (RPM软件包管理)
10、RPM基础命令：安装软件 rpm -i sofeware.rpm   卸载 rpm -e sofeware. rpm支持通过http ftp协议安装软件 rpm -ivh http://....rpm.  参数 -v 显示详细信息. -h显示进度条。
11、YUM软件管理:解决RPM依赖关系。 安装文件:yum install software-name  
    yum查询操作: yum search keyword 搜索
12、rpm -qi software查看软件的信息  yum info sofeware查看软件名称
13、查找一个文件或者命令是否存在：find / -name tomcat* 　　$ find <指定目录> <指定条件> <指定动作>
14、检查Linux是否安装了某个软件可以用以下这条命令：
#rpm -qa|grep 软件名字
你要查tomcat这个软件就可以用这条命令：#rpm -qa|grep tomcat  然后回车就行了。
15、tail -f  日志文件  追踪显示文件更新(一般用于查看日志，命令不会退出)
16、halt 立刻关机     poweroff 立刻关机   shutdown -h now 立刻关机(root用户使用) 
17、cp -a ly ly1.zip ly.zip ziptest/  递归拷贝多个文件及对应文件目录下的子文件到ziptest. -a 　-a或--archive 　此参数的效果和同时指定"-dpR"参数相同。 
18、grep bash /etc/passwd  查看对应的用户。  grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。   linux grep
如查找domain.xml文件下带有8080端口的行号 grep -n '8080' domain.xml 
19、tail -n 10  /etc/group查看对应的用户组  linux系统用户以及用户组管理 
20、查看Tomcat控制台  tail -f logs/catalina.out 非常重要
21、删除一个当前目录下所有的文件如下 rm -rf  [i]   //[/i]通配符，表示所有文件
22、解压War文件  jar -xvf game.war  解压到当前目录 
23、echo "hello" > file 创建一个file文件，并添加hello
24、Linux主要文件类型：1、普通文件 - 表示,相当于windows中记事本 2、目录文件，相当于windows文件夹
25、date 显示日期的指令
26、[Ctrl]-c 按键 中断目前程序: 
27、[Ctrl]-d 按键  (相当于输入 exit) 键盘输入结束:
28、 ./runInstaller      sh runInstaller  运行  
29、查看运行的Java进程： sudo ps -ef | grep java  强制删掉进程 Kill -9 进程号
30、查看文件夹的大小 du -h --max-depth=1 /usr/local/tomcat
31、查看正在运行的端口信息：netstat -nltp
32、ln -s /usr/local/php-5.3.28   /usr/local/php  #创建软连接
33、centos下rar安装：yum install rar unrar
34、centos下rz的安装：yum install lrzsz
35、解压： tar zxvf rzsz-3.48.tar.gz  打包:  tar zcvf rzsz-3.48.tar.gz rzsz
36、linux修改系统时间最佳方法 ： 1、先设置日期date -s 20080103   2、设置时间  date -s 18:24  如果要同时更改BIOS时间  再执行clock -w
自动同步时间：service  ntpd start 
37、Linux vi 命令模式启动光标：0 移动行首 nG 到第n行 比如5G到第五行 G到最后一行。Linux选项设置： :set number 显示行号 
38、给一个目录及子目录添加对应的其他用户的角色及权限方式如下
groupadd sqzw   //添加组
useradd -r -g sqzw sqzw   //添加用户并属于相关的组
chown -R sqzw:sqzw /var/www/html/wolves_sms    //给对应的目录及子目录赋值权限
39、Linux自动执行任务。 /etc/crontab     或者  /var/spool/cron/root  这两个地方都有，可以使用crontab -l 查看当前的执行脚本 
一个是直接通过crontab -e 添加的，一个是直接写到指定的主配置文件的 
40、.gz   解压1：gunzip FileName.gz   解压2：gzip -d FileName.gz  压缩：gzip FileName
41、执行文件./文件名.sh 或者 如果用bash -x script的话，就会出来每一步的变量信息和出错信息等等，
42、 ll -h 显示具体文件的大小
43、xclock的安装方式: yum install xorg-x11-apps  （测试图形界面的）
44、 lsof |grep deleted 【首先获得一个已经被删除但是仍然被应用程序占用的文件列表】 一种方法是kill掉相应的进程，或者停掉使用这个文件的应用，让os自动回收磁盘空间，我这个环境有很多进程在使用的这个文件，停掉进程有点麻烦，再有就是风险很大。。停止服务后，在重新启动服务。 locate lsof 查看是否安装，如果安装的话，不可以执行。解决方案：执行的时候加上路径，使用/usr/sbin/lsof -参数  【lsof 安装：yum install lsof 】  45、netstat -an | grep 8080  Linux下端口查看
45、yum install -y unzip zip 

参考文章：https://ask.hellobi.com/blog/liangyong/42

参考文章：https://ask.hellobi.com/blog/a174410/11876

参考文章：https://blog.csdn.net/qq_26230421/article/details/98359696