【工 具】Linux
【工 具】Linux
北京小辉
余辉,硕士毕业于中科院,从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色:研发、架构师、负责人、讲师。数据知识产权:出版大数据书籍【1】本,论文【2】篇,软著【6】篇,专利【65】篇。
展开
-
Shell教程(一)--变量
#!/usr/bin/env bash:<<EOF 1、shell 变量EOFecho "============Shell 变量===================="#注意,变量名和等号之间不能有空格your_name="runoob.com"echo $your_name#有效变量RUNOOB="RUNOOB"LD_LIBRARY_PATH="LD...原创 2019-04-17 13:30:23 · 294 阅读 · 0 评论 -
Shell教程(二)--参数传递
Shell 参数传递默认方式#!/usr/bin/env bash:<<EOF Shell 参数传递EOF#--------------------------------------------# $# 传递到脚本的参数个数# $* 以一个单字符串显示所有向脚本传递的参数。# 如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输...原创 2018-12-11 14:49:13 · 1245 阅读 · 0 评论 -
Shell教程(三)--算术运算符
#!/usr/bin/env bash:<<EOF Shell 算术运算符EOFecho "==============Shell 算术运算符========================"a=10b=20val=`expr $a + $b`echo "a + b : $val"val=`expr $a - $b`echo "a - b : $val"...原创 2019-04-17 13:35:13 · 346 阅读 · 0 评论 -
Shell教程(四)--输出的格式化
#!/usr/bin/env bash:<<EOF Shell printf 命令(输出的格式化)EOF#=================================================================================# 语法 printf format-string [arguments...]# ...原创 2019-04-17 13:35:54 · 1174 阅读 · 0 评论 -
Shell教程(五)--流程控制
#!/usr/bin/env bash:<<EOF Shell 流程控制 if if else if else-if elseEOF############################if 语句语法格式, if else 语法格式, if else-if else 语法格式,##if condition ...原创 2019-04-17 13:36:30 · 237 阅读 · 0 评论 -
Shell教程(六)--函数
#!/usr/bin/env bash:<<EOF Shell 函数EOF###########################[ function ] funname [()]#{# action;# [return int;] #返回值只能为int#}##########################demoFun(){ ...原创 2019-04-17 13:37:12 · 300 阅读 · 0 评论 -
Linux:awk命令详解
来源:http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2645321.html史上最好用的免费翻蔷利器简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: aw原创 2017-01-09 19:56:16 · 726 阅读 · 0 评论 -
Linux命令之大文件切分与合并
当面临将一个大文件进行切分时,linux的split命令是很好的选择。它包含多种参数,支持按行、大小进行切分。split命令的语法如下:split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][输出文件名前缀]对应的参数描述如下:-a, --suffix-length=N 使用的后缀长度 (默认为 2原创 2016-04-01 09:30:36 · 715 阅读 · 0 评论 -
Linux定时任务Crontab详解
第1列分钟1~59第2列小时1~23(0表示子夜)第3列日1~31第4列月1~12第5列星期0~6(0表示星期天)第6列要运行的命令定时任务打开命令[root@localhost ~]# crontable -l下面是crontab的格式:分 时 日 月 星期 要运行的命令这里有crontab文件条目的一些例子:原创 2016-04-01 09:12:04 · 592 阅读 · 0 评论 -
Linux:用sed命令在文本的行尾或行首添加字符
用sed命令在行首或行尾添加字符的命令有以下几种: 假设处理的文本为test.file 在每行的头添加字符,比如”HEAD”,命令如下: sed ‘s/^/HEAD&/g’ test.file在每行的行尾添加字符,比如“TAIL”,命令如下: sed ‘s/$/&TAIL/g’ test.file 运行结果如下图: 几点说明: 1.”^”代表行首,””代表行尾2.′s/”代表行尾原创 2017-01-09 20:01:42 · 4468 阅读 · 0 评论 -
SSH无密钥配置和配置公钥后仍需要输入密码的解决方案
目录1、ssh免密登陆的配置方法两种2、仍需要密码登陆问题解决1、ssh免密登陆的配置方法两种1、ssh-keygen -t rsa在客户端生成密钥对把公钥拷贝给要登录的目标主机,目标主机上将这个公钥加入到授权列表 cat id_rsa.pub &gt;&gt;authorized_keys目标主机还要将这个授权列表文件权限修改为600 chmod 600 authorized_k...原创 2018-11-02 15:25:49 · 15000 阅读 · 3 评论 -
tmpwatch安装和使用
目录一、需求二、安装和使用三、常用命令一、需求CDH上面时长报警,日志路径也更改过。后来发现是/tmp文件很大,之后安装了tmpwatch软件定期清洗。二、安装和使用yum -y install tmpwatch验证:cat /etc/cron.daily/tmpwatch[root@hadoop11 ~]# cat /etc/cron.daily/tmpwatch#!...原创 2019-01-11 16:09:38 · 3784 阅读 · 1 评论 -
linux:rsync命令详细整理
前提: rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一详细说明,需要了解的朋友可以参考下 在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。 Rsync的命令格式可以为以原创 2017-01-19 11:22:01 · 843 阅读 · 0 评论 -
Linux:RSync实现文件备份同步图解及代码
目录:1、需求2、图解3、代码备注:参考RSync命令 http://blog.csdn.net/silentwolfyh/article/details/546139411、需求:将Nginx文件从采集服务器同步到CDH服务器,最后放入Flume监控目录2、图解3、代码[root@xiaohui nginx_log]# cat get_file_test.shcd /home/nginx_l原创 2017-01-19 11:27:31 · 1035 阅读 · 0 评论 -
Linux下大数据常用执行应用脚本
读取HDFS文件大小#!/bin/bashpath=$1dir=$(hadoop fs -ls $path | awk '{print $8}')for i in $dirdo hdfs dfs -du -s -h $idone 读取Linux文件大小#!/bin/bashpath=$1dir=$(ls -l $path |awk '/^d/ {print $NF}')for i in原创 2017-02-13 09:44:12 · 953 阅读 · 0 评论 -
Linux:使用awk命令获取文本的某一行,某一列
“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点 这里 可以跳转到教程。”。1、打印文件的第一列(域) : awk '{print $1}' filename2、打印文件的前两列(域) : awk '{print $1,$2}' filename3、打印完第一列,然后打印第二列 : awk...原创 2016-03-23 21:04:08 · 75789 阅读 · 1 评论 -
linux:定时任务出现command not found
第一步查看/etc/profile: 第二步修改 /root/.bash_profile: 末尾添加命令的路径 第三步 shell脚本修改: 脚本中添加内容如下:#!/bin/bash. /etc/profile. /root/.bash_profile原创 2016-04-22 22:55:34 · 3904 阅读 · 0 评论 -
Linux 判断文件修改时间和系统时间差
#!/bin/bashtimestamp=`date +%s`filepath=/root/yuhui/ta-2016030307.logif [ -f $filepath ];thenecho "文件存在!路径为:$filepath"filetimestamp=`stat -c %Y $filepath`echo "文件最后修改时间戳:$filetimestamp"timecha=$[原创 2016-04-22 22:32:24 · 3771 阅读 · 0 评论 -
Linux下用户组、文件权限详解
用户组在linux中的每个用户必须属于一个组,不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念- 所有者- 所在组- 其它组- 改变用户所在的组 所有者一般为文件的创建者,谁创建了该文件,就天然的成为该文件的所有者用ls ‐ahl命令可以看到文件的所有者也可以使用chown 用户名 文件名来修改文件的所有者 文件所在组当某个用...原创 2016-04-22 23:29:40 · 1027 阅读 · 0 评论 -
Linux常用命令
文本追加hadoop fs -get /user/yuhui/bi_CleanLog/part-r-00000 part-r-00000awk '{print }' part-r-00000 >> test.txt查看文件 awk 'END {print}' BIRoomTime20160229.txt原创 2016-04-01 09:20:36 · 554 阅读 · 0 评论 -
Linux中时间、循环、变量、判断
备注:在linux的shell中,等号左右不要留有空格年月日echo `date -d "2 day ago" +%Y%m%d` 前天echo `date -d yesterday +%Y%m%d` 昨天echo `date -d "1 day ago" +%Y%m%d` 昨天原创 2016-04-01 09:16:24 · 1153 阅读 · 0 评论 -
Linux:Centos7升级内核
更新前,内核版本为:uname -r 3.10.0-327.10.1.el7.x86_64升级的方法:1、导入key rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org 2、安装elrepo的yum源 rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.n转载 2016-07-27 17:40:48 · 19825 阅读 · 0 评论 -
Linux欢迎界面设置
在linux中找到/etc/bashrc###########################################################echo " * * * * "echo " * * * * "echo " * ********** * "e原创 2016-06-16 15:30:14 · 4620 阅读 · 0 评论 -
Linux:shell完美获取上月,本月,下月年月
#!/bin/shSHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/#需求:获取上月年月,本月年月,下月年月# 2016-06 2016-07 2016-08##坑01 #2016年当month为01的时候,上年月份为2015-12#2016年当month为12的时候,下年月原创 2016-07-27 17:12:59 · 30912 阅读 · 6 评论 -
用shell脚本监控进程是否存在 不存在则启动的实例
用shell脚本监控进程是否存在 不存在则启动教程_百度经验 http://jingyan.baidu.com/article/59a015e3a3a404f795886542.htmlcrontab 参考: http://blog.csdn.net/silentwolfyh/article/details/51033973用shell脚本监控进程是否存在 不存在则启动的实例,先上代码干货:#!原创 2017-03-17 09:41:36 · 1688 阅读 · 0 评论 -
inotify监控Nginx目录且将Log文件放入Flume监控文件中
目录1、需求2、框架步鄹3、脚本和Nginx日志展示4、运行结果 1)日志展示和移动数据到监控目录 2) 启动监控脚本、查看运行前后、查看监控日志、查看结果路径数据—————————————————————————————————1、需求通过inotify监控Nginx目录,将生产Log文件放入Flume监控文件中2、框架步鄹3、脚本和Nginx日志展示备注:*.tar.gz原创 2017-03-01 13:06:43 · 1382 阅读 · 0 评论