linux 好用的DIY函数

已于 2024-01-09 10:30:37 修改
阅读量179 收藏
点赞数
分类专栏： linux 文章标签： linux
于 2021-08-26 15:52:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MusicDancing/article/details/119933359
版权

1. 删除十天以上的日志数据

find /data/zz/logs -mtime +10 | xargs rm
# find ./logs -mtime +10 | xargs rm
# rm ./logs/log_${last_10dt}

2. 获取进程pid，并kill

#/bin/bash
PID=$(ps -ef | grep algorithms_predict | grep -v grep | awk '{print $2}')
if [ -z $PID ]; then
        echo "process provider not exist" >> ../logs/algorithms_predict.log
        exit
else
        echo "process id: $PID" >> ../logs/algorithms_predict.log
        kill -9 ${PID}
        echo "process algorithms_predict killed" >> ../logs/algorithms_predict.log
fi

或 ps -ef | grep algo | awk -F' ' '{print $2}' | xargs kill -9

3.  从元数据获取表中数据的条数

user_cnt=`hive -e "desc formatted table_name partition(pt='2021-07-01');" \
    | grep "numRows" | grep -oE "[0-9]*"`

4. 计算两日期间隔

计算日期 date1 - date2 有多少天

function date_diff {
    local date1=${1}
    local date2=${2}
    local dt1_time=$(date -d "$date1" +%s)
    local dt2_time=$(date -d "$date2" +%s)
    echo $[($dt1_time-$dt2_time)/86400]
}

5. 下载数据到本地

for trf in `hadoop fs -ls ${instance_path}/train/* | grep -o "part-.*.gz"`;
do
    hadoop fs -get ${instance_path}/train/${trf} ${train_dir} &
done
wait
if_error_exit "Download train instance from ${instance_path}/train to ${train_dir}"

6. 检测文件是否存在

6.1 检测hdfs文件是否存在

        检查HDFS文件是否存在，存在返回0，如果不存在，每10min检查一次，每1h报警一次，持续等待指定秒数(2h)后退出，返回-1。

function check_hdfs_exist {
    local target_file=${1}
    local beg=`date +%s`
    local end=`date +%s`
    local start=`date +%s`
    local the_max_wait_time = 7200

    while :
    do
        ${HADOOP_HOME}/bin/hdfs dfs -test -e $target_file
        if [ $? -eq 0 ];then
            echo "---> $1 ready!"
            return 0
        fi
        sleep 600s
        end=`date +%s`
        if ((end - beg > 3600));then
            ((beg=end))
            log_warn "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file!"
        fi

        if ((end - start > $the_max_wait_time));then
            log_error "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file! exit after waiting $the_max_wait_time seconds"
            exit 1
        fi
    done
}

调用

#!/usr/bin/env bash
# source /etc/profile
source ./utils.sh
FILE_PATH="hdfs://wxlx/user/hive/warehouse/zz.db/table/pt=2021-06-08/hour=00"
check_hdfs_exist $FILE_PATH

6.2 等待hdfs文件生成并持续报警

        检查HDFS文件是否存在，存在返回0，如果不存在，每10min(600秒)检查一次，2h(7200s)后，每半小时(1800)报警一次，持续等待直到文件生成。${1} 文件名称

function check_hdfs_hold {
    local target_file=${1}
    local current=`date +%s`
    local beg=`date +%s`
    local end=`date +%s`

    while :
    do
        ${HADOOP_HOME}/bin/hdfs dfs -test -e $target_file
        # 检测目录
        # ${HADOOP_HOME}/bin/hdfs dfs -test -d ${1}
        if [ $? -eq 0 ];then
            echo "----$target_file is ready!!!"
            return 0
        fi
        sleep 600s
        end=`date +%s`
        if ((end - current > 7200));then
            if ((end - beg > 1800));then
                ((beg=end))
                log_warn "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file!"
            fi
        fi
    done
}

调用

function check_hdfs_done {
  check_hdfs_hold "${1}/done"
  return $?
}

function check_hdfs_success {
  check_hdfs_hold "${1}/_SUCCESS"
  return $?
}

7. 判断命令是否执行成功及日志打印

7.1 判断命令是否执行成功

function if_error_exit {
    if [ $? -eq 0 ];then
        log_debug "${BASH_SOURCE[*]}" "${LINENO}" "Success: ${1}"
    else
        log_error "${BASH_SOURCE[*]}" "${LINENO}" "Failed: ${1}"
        exit -1
    fi
}

7.2 自定义打印日志信息

function log_message {
    # 参数：log level + script caller stack + lineno + message
    local log_level=${1}
    local cs=${2}
    local line_no=${3}
    local message=${4}
    local MSG=""
    local callStackStr=""
    for s in ${cs[*]}; do
        callStackStr="${s}:${callStackStr}"
        #if [ ${#callStackStr} -gt 0 ]; then  # csr长度是否>0
        #    callStackStr="${s}:${callStackStr}"
        #else
        #    callStackStr="${s}"
        #fi
    done

    MSG="[`hostname`][`whoami`][`date '+%Y-%m-%d %H:%M:%S'`][${log_level}][${callStackStr}:${line_no}] ${message}"
    if [[ "${log_level}" == "WARN" || "${log_level}" == "ERROR" ]];then
        echo "ERROR:  $MSG"
        curl -H 'host:portal.ad.wkanx.com' -d 's={"type":"raw","data":"xxxxx"}' "http://10.2.52.9/alert?a=at&c=6000000006&m=`echo ${MSG} | sed 's/ /+/g'`" --globoff
    elif [[ "${log_level}" == "INFO" ]];then
        echo "INFO:  $MSG"
        curl -H 'host:portal.ad.wkanx.com' -d 's={"type":"raw","data":"xxxxx"}' "http://10.2.52.9/alert?a=at&c=6000000003&m=`echo ${MSG} | sed 's/ /+/g'`" --globoff
    fi
}

 调用

# 为每个级别的通知设置不同的方式
function log {
    local log_level=$1
    local call_stack=$2
    local lineno=$3
    local msg=$4
    log_message "$log_level" "$call_stack" "$lineno" "$msg"
}

8. 计算指定时间前的N个小时的所有时间点

        计算从 "$curr_dt $curr_hr" 向前推算 "$past_hours - 1" 个小时，中间经历的日期和小时，如果某一天24个小时都取到，则用 "*" 表示该日期对应的小时。 例如："2018-09-17 14" 向前推算 "42" 个小时，则有结果。

# 2018-09-15,21
# 2018-09-15,22
# 2018-09-15,23
# 2018-09-16,*
# 2018-09-17,00
# 2018-09-17,01
# 2018-09-17,02
# 2018-09-17,03
# 2018-09-17,04
# 2018-09-17,05
# 2018-09-17,06
# 2018-09-17,07
# 2018-09-17,08
# 2018-09-17,09
# 2018-09-17,10
# 2018-09-17,11
# 2018-09-17,12
# 2018-09-17,13
# 2018-09-17,14

function select_dt_hr {
    local curr_dt=$1
    local curr_hr=$2
    local past_hours=`expr $3 - 1`
    if (($past_hours < 0)); then
        exit -1
    fi
    local first_datetime=`date -d "$curr_dt $curr_hr -$past_hours hours" '+%Y-%m-%d %H:%M:%S'`
    local first_date=${first_datetime:0:10}    # 第一个小时对应的日期
    local first_hour=${first_datetime:11:2}    # 第一个小时对应的小时
    local total_days_diff=`date_diff "$curr_dt" "$first_date"`
    # 去掉第一天和最后一天，计算中间天需要在当前时间上减多少days
    local days=`seq $[total_days_diff-1] -1 1`
    if [ z"$curr_dt" = z"$first_date" ]; then
    # 时间未跨天
        for hour in `seq $first_hour 1 $curr_hr`; do
            printf "%s,%02d\n" $curr_dt $hour
        done
    else
    # 时间有跨天
        # 第一天
        if [ z"$first_hour" = z"00" ]; then
            # 完整一天
            printf "%s,*\n" $first_date
        else
            # 不完整
            for hour in `seq $first_hour 1 23`; do
                printf "%s,%02d\n" $first_date $hour
            done
        fi

        # 中间完整的天
        for day in $days; do
            printf "%s,*\n" `date -d "$curr_dt $curr_hr -$day days" '+%Y-%m-%d'`
        done
        # 最后一天
        for hour in `seq 0 1 $curr_hr`; do
            printf "%s,%02d\n" $curr_dt $hour
        done
    fi
}

   
        11


 

MusicDancing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入linux shell编程之linux启动时启动了些什么？
cnhxjtoa的专栏
02-21 825
windows下电脑开机会启动些什么应用程序，大家不讲估计都很清楚，这里带大家看一下linux的启动后会启动了什么组件？进入到linux配置的组件目录/etc/rc.d/中会看到8个目录和1个不可执行的文件（因为它暂时不带x,没有执行权限） init.d 初始化 rc0.d 关机 rc1.d 单用户模式，没有网络，跟类似Win的安全模式，没有窗口 rc2.d 多用户模式，没有网络，带有文件系统 rc3.d 多用户模式，有网络，有文件系统，默认的启动方式，可以在这里编写shell脚本启动rc
Shell if的使用详解_&&与||的使用详解
小楼一夜听春雨，深巷明朝卖杏花
05-26 2481
一 IF使用详解 1 格式 1.1 单分支语句结构 if [ 条件表达式 ]; then 指令 fi 1.2 双分支语句结构 if [ 条件表达式 ]; then 指令一 else 指令二 fi 1.3 多分支语句结构 if [ -f file ]; then echo "yes yes yes" elif [ -z file ]; then echo "yes yes" else echo "nonono" fi 上面直接给出了多分
Linux shell脚本中if的“-e，-d，-f” 说明
热门推荐
hebbely的博客
10-09 2万+
1、文件表达式 序号 参数 说明 1 -e filename 如果 filename存在，则为真 2 -d filename 如果 filename为目录，则为真 3 -f filename 如果 filename为常规文件，则为真 4 -L filename 如果 filename为符号链接，则为真 5 ...
Perl文件检测选项及其含义
zzz_781111的专栏
07-09 910
  文件检测选项及其含义检测选项含义-r 文件或目录对此（有效的）用户（effective user）或组是可读的-w 文件或目录对此（有效的）用户或组是可写的-x 文件或目录对此（有效的）用户或组是可执行的-o 文件或目录由本（有效的）用户所有-R 文件或目录对此用户(real user)或组是可读的-W 文件或目录
Linux C Select函数用法
希哈科技
04-12 820
  Select在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如connect、accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件的发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回）。可是使用Select就可以完成非阻塞（所谓非阻塞...
ARM Linux DIY（十二）NES 游戏
lyndon
09-13 1033
我们 DIY 的板子具备屏幕、扬声器、USB Host（可以接游戏手柄），当然也要凑一凑热闹。
linux函数怎么判断目录是否存在,linux C之判断文件或目录是否存在 access函数
weixin_33389310的博客
05-08 1463
http://blog.sina.com.cn/s/blog_6a1837e90100uh5d.htmlaccess()：判断是否具有存取文件的权限相关函数stat，open，chmod，chown，setuid，setgid表头文件#include定义函数int access(const char * pathname, int mode);函数说明access(...
linux c语言 select函数用法
witto_sdy的专栏
04-23 609
写的很到位，转一下，以后可以继续看。http://chen-xiao-mei2009-163-com.iteye.com/blog/464972 Select在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如  connect、accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是
linux初始化函数变量值,启动期间的内存管理之初始化过程概述----Linux内存管理(九)...
weixin_33903769的博客
05-11 152
在内存管理的上下文中, 初始化(initialization)可以有多种含义. 在许多CPU上, 必须显式设置适用于Linux内核的内存模型. 例如在x86_32上需要切换到保护模式, 然后内核才能检测到可用内存和寄存器.而我们今天要讲的boot阶段就是系统初始化阶段使用的内存分配器.1 前景回顾1.1 Linux内存管理的层次结构Linux把物理内存划分为三个层次来管理层次描述存储节点(Node...
linux串口编程
03-23
对于程序开发，Linux提供了标准的C语言API来访问串口，如`open()`、`read()`、`write()`、`close()`等函数，它们是POSIX标准的一部分。同时，还可以使用libserialport库、PySerial库（Python）等高级接口进行更复杂...
hd44780-i2c-master_teachbem_linux_Kernel_Driver_
10-04
HD44780是一种常见的字符型液晶显示模块，广泛应用于各种嵌入式系统和DIY项目中，它能显示两行、16个字符的文本信息。 描述中提到的"i2c driver for hd44780 lcd"进一步确认了这个驱动是为了解决Linux内核与HD44780...
Linux内存管理（十三）：unflatten_device_tree 详解
最新发布
私房菜
09-15 357
对于 debug 版本若通过节点查看，会发现很多细小的reserved hole。在之前《reserved-memory 详解》一文中分析了dts 中 reserved-memory 部分的内存 reserved 过程，这些内存都是工程师根据平台需要定义好的。在《paging_init 详解》一文中在进行 map_kernel 和 map_mem 映射时创建了很多的页表，系统将这部分的内存也当成了 reserved memory。本文将继上面分析系统 reserved 的另一块细小的 memory。
shell脚本 循环检测目标文件是否存在
MusicDancing的博客
11-17 4928
1. 在shell 脚本中，检测某一文件是否存在 #!/bin/bash # 判断aa.txt 是否存在 file='aa.txt' if [ -e $file ];then echo "$file exist" else echo "$file not exist" fi 注意：在shell脚本中当使用“ = ”给变量赋值的时候，在 “ = ”两边一定不能加空格，否者会把变量名当作一个命令来执行而报出“ command not foun..
curl 命令用法
MusicDancing的博客
04-27 2219
curl(CommandLine Uniform Resource Locator),即在命令行中利用URL进行数据或者文件传输。 参数含义 -X 指定请求方法 -x 指定HTTP请求的代理 -H 指定请求标头 -d 发送POST请求提交的数据，使用-d参数后，会自动将请求转为POST，HTTP请求会自动加上标头Content-Type : application/x-www-form-urlencoded，可省略-X POST -v 显示http通信的整个过程 -u 设置服务器认证的用户名和密.
Liunx 文本匹配与正则表达式
MusicDancing的博客
09-06 1548
grep（global regular expression print）是linux中最强大的文本搜索命令之一，常用于搜索文本文件中是否含有某些特定模式的字符串。该命令以行为单位读取文本并使用正则表达式进行匹配，匹配成功后打印出该行文本。 【命令格式】 grep [option] "string_to_find" filename [filename2 filename3 ...] string_to_find为需要匹配的模式，可以填写字符串或者正则表达式 filename为需要查找的文件的名称.
shell 中字符串变量处理
MusicDancing的博客
12-29 1512
Shell中获取字符串长度的常用方法： aa='abc' # 1.利用wc的-L参数来获取字符串的长度 echo ${aa} | wc -L # 2. 利用awk的length方法 echo ${aa} | awk '{print length($0)}' # 3.利用awk的NF项来获取字符串长度 echo ${aa} | awk -F '' '{print NF}' 备注: -F为分隔符，NF为域的个数，即单行字符串的长度 # 4. 利用${#str}来获取字符串的长度 echo ${#aa}
Shell中常见关键字说明及区别对比
MusicDancing的博客
12-21 1280
1. exit关键字 exit命令是Shell内建命令，用于退出当前Shell进程。 可以指定退出状态n，n的取值范围是0-255，一般情况下，0表示正常退出，非零表示异常退出。 如果状态码是0-255之外的数值，则会被强制转换为uint8_t类型的数值，比如-1会被转换为255，256会发生类型宽度截断，被转换为0。状态码n可以不指定，默认是上一条命令的退出状态码。 2. return关键字 return是语言级别的一个关键字，用于结束函数并返回一个结果。return不带参数时，则会返回函.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值