执行脚本报错exec format error问题

前言

当解决执行脚本报错exec format error问题时，可以尝试文章提到的方法。夜莺监控的群聊中看到有个老哥使用采集器categraf的exec插件（用于采集自定义数据），在他的环境中发现运行脚本产生类似这样的错误

E! exec_ command: /data/categraf/scripts/xxx.sh error: fork/exec /data/categraf/scripts/xxx.sh: exec format error stderr:

群友的帮助这位老哥解决了他的这个问题，我也趁机又多学了一点，哈哈哈。
本文涉及到一些知识点包含：

1. exec format error错误可能是哪些原因，和应对方法
2. awk取行取列，去除单位
3. categraf插件exec使用-自定义采集数据

exec format error错误

当你使用脚本的产生exec format error错误的缺少，你需要第一个检查的问题就是脚本头（‘解释器’）。
脚本头是指每个脚本程序第一行指定的解释器，在Linux上，Shell脚本常用的是bash或sh（#!/bin/bash或#!/bin/sh开头，两者大部分情况下都是兼容的）,Python脚本使用#!/usr/bin/python或#!/bin/python3，解释器让程序运行时知道用哪个解释器。例如一个Shell脚本，没有解释器就需要这样去运行’sh test.sh’，添加解释器并赋予执行权限后可以这样运行’./test.sh’。

第二个可能的问题就是换行符。
大家都知道Windows和Linux在换行符上使用不同的字符， Windows使用CRLF（回车换行），解释为 \r\n ；Linux使用LF（换行），解释为 \n，所以当你跨平台编辑时注意文件的换行编码格式。

第三个可能是硬件架构不符合。
ARM架构,x86架构或者RISC-V架构的CPU硬件的使用的指令集不一样的，所以需要编译匹配硬件平台的软件程序。

第四个可能是脚本文件编码。
这个问题出现概率并不高，但是如果是在Window平台写的脚本需要注意一下，通常大家用的是UTF-8编码。

第五个可能是权限不对。
文件必须赋予可执行权限才能运行，请使用chmod +x <filename>语法去添加可执行权限。

awk取行取列

群友的脚本里想要监控一下磁盘使用量的数据他是这样写的

df /data | awk '{print $3}' | sed -n '2p'

不过我查了下，达到同样目的除了这种写法，awk命令本身就可以取行取列，省下sed命令；此外如果是有单位情况下，例如‘%’需要截取字符，可以组合cut命令，或者直接用substr和length来获取数据。
首先通过df命令（df /xxx）查看磁盘可以获得类似下面的输出

Filesystem     1K-blocks    Used      Available Use% Mounted on 
/dev/sda6       29640780    4320600   23814492  16%       / 

通过awk '{print $3}'可以得到Used列的值（从1开始计数,$0是完整记录，$NF代表记录分割的最后字段值）

Used
4320600

通过sed -n '2p'就可以获得最终数值，不过这里也可以用awk中的NR变量来达到同样获取特定行号数据效果，即把

df /data | awk '{print $3}'|  sed -n '2p'

替换为

df /data | awk 'NR!=1 {print $3}'

或者

df /data | awk 'NR==2 {print $3}'

这是没有带参数情况如果是带单位的列，就需要再去除单位(Use%)，也是类似可以自行尝试，这两种方式也是可行：

df /data | awk 'NR!=1 {print $5}'|cut -d "%" -f 1

或者

df /data | awk 'NR!=1 {print substr($5,0,length($5)-1)}'

categraf插件exec使用-自定义采集数据

其实就像文档描述那样，exec插件方便执行用户自定义程序或脚本来上报监控数据。

应用场景
如果input目录下的插件无法满足采集需求或者有特殊场景需要自定义实现指定业务的监控。
采集原理
监控脚本采集到监控数据之后通过相应的格式输出到stdout，categraf截获stdout内容，解析之后传给服务端。

配置文件非常简单，基本没太多修改的参数，如下所示：

cat conf/input.exec/exec.toml
# # collect interval
# interval = 15

[[instances]]
# # commands, support glob
commands = [
#     "/opt/categraf/scripts/*.sh"
]

# # timeout for each command to complete
# timeout = 5

# # interval = global.interval * interval_times
# interval_times = 1

# # choices: influx prometheus falcon
# # influx stdout example: mesurement,labelkey1=labelval1,labelkey2=labelval2 field1=1.2,field2=2.3
# data_format = "influx"

data_format按要求提供，改一下commands参数，所以上面的脚本改好后就可以通过./categraf --test --inputs exec来测试一下输出是否符合预期，另外要注意test时只是打印到日志中不会真的上报数据。

参考

How to Fix “exec user process caused: exec format error” in Linux

shell脚本： 基本语法 和 高级特性

linux脚本开头的#!/bin/bash有什么作用

awk取行取列实操

Linux awk 命令

shell 里 awk print 的用法

Linux 中 awk 字段截取命令

awk截取字符串

EXEC采集插件