运维相关指标数据采集并ES入仓 - 运维笔记

最新推荐文章于 2023-11-16 00:12:58 发布
最新推荐文章于 2023-11-16 00:12:58 发布
阅读量274 收藏
点赞数
文章标签： 运维 json java
原文链接：http://www.cnblogs.com/kevingrace/p/11044716.html
版权

 

为了进行数字化IT治理，需要对一些应用进程相关指标进行采集并入库。收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。

需要进行采集的应用进程相关指标如下：

ES入库的规范如下：

中文名

英文名

类型

是否必填

说明

指标名称

indexName

CHAR

是

 

指标值

indexValue

CHAR

是

支持批量

指标类别

indexType

CHAR

是

安全

测试

运行

应用

环境

指标描述

indexDesc

VARCHAR

是

指标说明，指标采集数据源（zbx、dota、legao……）

采集时间

collectTime

TIMESTAMP

是

支持批量

应用名称

appName

CHAR

是

以AIOPS的3位编码为准

主机名

hostName

CHAR

否

 

发送数据源主机

dataSource

CHAR

是

脚本路径@主机IP

下面是应用指标数据进行ES入仓的请求说明

测试区接口说明：
访问链接：http://192.168.10.10:10222/haha/heiheiAPI/test_1_kafka
请求header：Content-Type:application/json
请求方法：POST
请求参数，token中填入示例中的128位token即可，data的值是一个数组，数组中的每个元素是一个json对象（对应会插入ES中的1个document），给出具体信息：
{
    "token": "bd1df2b11111111112222222222222222333333333333333333yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy",
    "data": [
        {
            "type": "英文字符，最长不超过10位",
            "desc": "指标的中文描述, 可为空",
            "@timestamp": "时间戳，以标准unix时间戳为准，下面会给出shell和python的生成示例",
            "appname": "应用系统编码，以aiops上的信息为准",
            "hostname": "主机名",
            "value": "采集的指标值, 由于各系统需求不一致, 此处统一使用string类型, 否则可能会造成mapping冲突, 但某些功能需要int/float,再讨论",
            "checker": "发送数据的脚本路径或IP, 可为空"
        }
    ]
}


==============================================================================================
# python生成时间戳示例
import datetime
timestamp = datetime.datetime.strftime(datetime.datetime.now(), '%s')
 
==============================================================================================
# python请求示例
import urllib2   # 这里是python2，根据各人使用有不同，总之是构建http request
import hashlib
import json
url = 'http://192.168.10.10:10222/haha/heiheiAPI/test_1_kafka'
data = {
    'token': 'bd1df2b11111111112222222222222222333333333333333333yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy',
    'data': [
        {}
    ]
}
headers = {'Content-Type': 'application/json'}
req = urllib2.Request(url, json.dumps(data), headers = headers)
res = urllib2.urlopen(req).read()
=============================================================================================

# bash shell生成时间戳示例
date +'%s'
# bash shell请求示例
curl -s -XPOST -H "Content-Type:application/json" -d 请求数据 http://192.168.10.10:10222/haha/heiheiAPI/test_1_kafka

这里使用了两个脚本：
1）shell脚本进行指标数据采集（最终使用脚本：20_app_process_index.sh）
2）python脚本进行ES入仓请求提交，请求方法:POST。 在python脚本里调用shell脚本，调取shell脚本执行结果。（最终使用脚本：20_app_process_index_es.py）

[root@kevin_test app_process_index]# pwd
/root/100_app_index/app_process_index
[root@kevin_test app_process_index]# ll
total 120
-rwxr-xr-x 1 root root   783 Jun 20 18:16 20_app_process_index_es.py
-rwxr-xr-x 1 root root   290 Jun 20 18:16 20_app_process_index.py2
-rwxr-xr-x 1 root root 15398 Jun 20 18:19 20_app_process_index.sh
-rwxr-xr-x 1 root root 10414 Jun 20 18:16 20_app_process_index_shell.sh

[root@kevin_test ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        20G  4.8G   14G  26% /
tmpfs           2.9G   12K  2.9G   1% /dev/shm
/dev/vdb2       9.8G  458M  8.8G   5% /software
/dev/vdb3        30G   21G  7.2G  75% /opt/bobo
/dev/vdb4        38G  6.9G   29G  20% /var/log/bobo

其中，/opt/cbd为应用程序所在空间，/var/log/bobo是日志所在空间

一、shell脚本 （执行结果要时JSON格式的，这里在shell脚本里拼出来的JSON样式）

[root@kevin_test app_process_index]# cat 20_app_process_index_shell.sh 
#!/bin/bash

source /etc/profile
hostName=$(hostname)
IP=$(ifconfig eth0| sed -nr '2s/(^[^0-9]+)([0-9.]+)+( .*$)/\2/gp')
appName=$(echo ${hostName:3:3})

collectTime=`date +'%s'`
dataSource=$(echo "`pwd`/$0@${IP}")

indexType="应用进程相关指标"

echo "指标类型: ${indexType}"
echo "指标采集时间: ${collectTime}"
echo "主机名: ${hostName}"
echo "应用名称: ${appName}"
echo "发送数据源主机: ${dataSource}"
echo -e "\n此次采集应用进程相关指标情况如下:"

echo -e "---------------------------------------------------"
###########应用进程占内存百分比###########
indexName1="应用进程占内存百分比"
ps auxw|grep bxapp|awk '{if (NR>1){print $4}}' > /tmp/mem_list
NUM1=`cat /tmp/mem_list|wc -l`

if [ $NUM1 -eq 0 ];then
   echo "${indexName}为0"
else
   MEM_PER_SUM=$(awk '{MEM_PER+=$1}END{print MEM_PER}' /tmp/mem_list)
   echo "${indexName1}:" ${MEM_PER_SUM}%
fi

echo -e "---------------------------------------------------"
###########应用进程占CPU百分比###########
indexName2="应用进程占CPU百分比"
ps auxw|grep bxapp|awk '{if (NR>1){print $3}}' > /tmp/cpu_list
NUM2=`cat /tmp/cpu_list|wc -l`

if [ $NUM2 -eq 0 ];then
   echo "${indexName2}为0"
else
   CPU_PER_SUM=$(awk '{CPU_PER+=$1}END{print CPU_PER}' /tmp/cpu_list)
   echo "${indexName2}:" ${CPU_PER_SUM}%
fi

echo -e "---------------------------------------------------"
###########应用进程run最长时间及其进程###########
indexName3="应用进程run最长时间"
PID=$(ps -eo user,pid,etime|grep bxapp|sort -k 3 -rn|head -1|awk '{print $2}')
RUN_TIME=$(ps -eo user,pid,etime|grep bxapp|sort -k 3 -rn|head -1|awk '{print $3}')
PROCESS=$(ps -ef|grep ${PID}|grep -v grep|awk '{print $8}')

echo -e "${indexName3}: ${RUN_TIME} \n进程: ${PROCESS}"


echo -e "---------------------------------------------------"
###########应用进程TIME-WAIT连接数###########
indexName4="应用进程TIME-WAIT连接数"
NUM3=$(ss -a|grep -w "TIME_WAIT" |wc -l)
echo "${indexName4}: ${NUM3}"

echo -e "---------------------------------------------------"
###########应用进程ESTABLISHED连接数###########
indexName5="应用进程ESTABLISHED连接数"
NUM4=$(ss -a|grep -w "ESTAB" |wc -l)
echo "${indexName5}: ${NUM4}"

echo -e "---------------------------------------------------"
###########应用进程FIN_WAIT2连接数###########
indexName6="应用进程FIN_WAIT2连接数"
NUM5=$(ss -a|grep -w "FIN_WAIT2" |wc -l)
echo "${indexName6}: ${NUM5}"

echo -e "---------------------------------------------------"
###########日志空间使用率###########
indexName7="日志空间使用率"
LOG_SPACE_USER=$(df -h|grep "/var/log"|awk '{print $5}')
echo "${indexName7}: ${LOG_SPACE_USER}"

echo -e "---------------------------------------------------"
###########应用程序空间使用率###########
indexName8="应用程序空间使用率"
APP_SPACE_USER=$(df -h|grep "/opt"|awk '{print $5}')
echo "${indexName8}: ${APP_SPACE_USER}"

echo -e "---------------------------------------------------"
###########应用所在磁盘读速率（Blk/s）###########
indexName9="应用所在磁盘读速率（Blk/s）"
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
READ=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $3}')

echo "${indexName9}: ${READ}"

echo -e "---------------------------------------------------"
###########应用所在磁盘写速率（Blk/s）###########
indexName10="应用所在磁盘写速率（Blk/s）"
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
WRITE=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $4}')

echo "${indexName10}: ${WRITE}"

echo -e "---------------------------------------------------"
###########应用所在磁盘TPS###########
indexName11="应用所在磁盘TPS"
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
TPS=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $2}')

echo "${indexName11}: ${TPS}"

echo -e "---------------------------------------------------"
###########TOMCAT分配最小内存 ###########
indexName12="TOMCAT分配最小内存"
NUM6=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM6} -eq 0 ];then
   echo "当前没有Tomcat进程，${indexName12}: 0"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM7=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM7} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMS=$(ps -ef|grep ${TOMCAT}/|grep "\-Xms"|awk -F"-Xms" '{print $2}'|cut -d" " -f1)
        echo -e "${indexName12}: ${XMS}  (实例名:${TOMCAT})"
      fi
    done
fi

echo -e "---------------------------------------------------"
###########TOMCAT分配最大内存 ###########
indexName13="TOMCAT分配最大内存"
NUM8=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM8} -eq 0 ];then
   echo "当前没有Tomcat进程，${indexName13}: 0"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM9=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM9} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMX=$(ps -ef|grep ${TOMCAT}/|grep "\-Xmx"|awk -F"-Xmx" '{print $2}'|cut -d" " -f1)
        echo -e "${indexName13}: ${XMX}  (实例名:${TOMCAT})"
      fi
    done
fi

echo -e "---------------------------------------------------"
###########TOMCAT分配年轻代空间 ###########
indexName14="TOMCAT分配年轻代空间"
NUM10=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM10} -eq 0 ];then
   echo "当前没有Tomcat进程，${indexName14}: 0"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM11=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM11} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMN=$(ps -ef|grep ${TOMCAT}/|grep "\-Xmn"|awk -F"-Xmn" '{print $2}'|cut -d" " -f1)
        echo -e "${indexName14}: ${XMN}  (实例名:${TOMCAT})"
      fi
    done
fi

echo -e "---------------------------------------------------"
###########TOMCAT每个线程的堆栈大小 ###########
indexName15="TOMCAT每个线程的堆栈大小"
NUM12=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM12} -eq 0 ];then
   echo "当前没有Tomcat进程，${indexName15}: 0"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM13=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM13} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XSS=$(ps -ef|grep ${TOMCAT}/|grep "\-Xss"|awk -F"-Xss" '{print $2}'|cut -d" " -f1)
        echo -e "${indexName15}: ${XSS}  (实例名:${TOMCAT})"
      fi
    done
fi

echo -e "---------------------------------------------------"
###########TOMCAT-GC时长占比 ###########
indexName16="TOMCAT-GC时长占比"
NUM14=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM14} -eq 0 ];then
   echo "当前没有Tomcat进程，${indexName16}: 0"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM15=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM15} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        GC=$(ps -ef|grep ${TOMCAT}/|grep "\GCTimeRatio"|awk -F"GCTimeRatio" '{print $2}'|cut -d" " -f1|awk -F"=" '{print $2}')
        echo -e "${indexName16}: ${GC}  (实例名:${TOMCAT})"
      fi
    done
fi

echo -e "---------------------------------------------------"
###########Zookeeper分配最小内存 ###########
indexName17="Zookeeper分配最小内存"
#zookeeper安装时没有手动定义内存配置，默认为系统内存的四分之一
NUM16=$(ps -ef|grep zookeeper|grep -v grep|wc -l)
if [ ${NUM16} -eq 0 ];then
   echo "当前没有zookeeper进程，${indexName17}: 0"
else
   MEM_TOTAL=$(free -m|grep "Mem"|awk '{print $2}')
   ZK_MEM_MAX=`expr ${MEM_TOTAL} / 4`

   echo "${indexName17}: ${ZK_MEM_MAX}M" 
fi 


echo -e "---------------------------------------------------"
###########Zookeeper分配最大内存 ###########
indexName18="Zookeeper分配最大内存"
#zookeeper安装时没有手动定义内存配置，默认为系统内存的四分之一
NUM17=$(ps -ef|grep zookeeper|grep -v grep|wc -l)
if [ ${NUM17} -eq 0 ];then
   echo "当前没有zookeeper进程，${indexName18}: 0"
else
   MEM_TOTAL=$(free -m|grep "Mem"|awk '{print $2}')
   ZK_MEM_MAX=`expr ${MEM_TOTAL} / 4`

   echo "${indexName18}: ${ZK_MEM_MAX}M" 
fi 

echo -e "---------------------------------------------------"
###########KAFKA分配最小内存 ###########
indexName19="KAFKA分配最小内存"
NUM18=$(ps -ef|grep kafka|grep -v grep|wc -l)
if [ ${NUM18} -eq 0 ];then
    echo "当前没有KAFKA进程，${indexName19}: 0"
else
    cd /opt/${appName}/
    for KAFKA in $(find /opt/${appName}/ -name *kafka* -type d)
    do
    NUM19=$(ps -ef|grep ${KAFKA}|grep -v grep|wc -l)
       if [ ${NUM19} -eq 0 ];then
          echo "not this ${KAFKA}" >/dev/null 2>&1
       else
          FILE=${KAFKA}/bin/kafka-server-start.sh 
          KAFKA_MEM_MIN=$(cat ${FILE}|grep "Xmx"|awk -F'"' '{print $2}'|awk '{print $2}'|awk -F"Xms" '{print $2}')
          echo "${indexName19}: ${KAFKA_MEM_MIN}"
       fi
    done
fi


echo -e "---------------------------------------------------"
###########KAFKA分配最大内存 ###########
indexName20="KAFKA分配最大内存"
NUM20=$(ps -ef|grep kafka|grep -v grep|wc -l)
if [ ${NUM20} -eq 0 ];then
    echo "当前没有KAFKA进程，${indexName20}: 0"
else
    cd /opt/${appName}/
    for KAFKA in $(find /opt/${appName}/ -name *kafka* -type d)
    do
    NUM21=$(ps -ef|grep ${KAFKA}|grep -v grep|wc -l)
       if [ ${NUM21} -eq 0 ];then
          echo "not this ${KAFKA}" >/dev/null 2>&1
       else
          FILE=${KAFKA}/bin/kafka-server-start.sh 
          KAFKA_MEM_MAX=$(cat ${FILE}|grep "Xmx"|awk -F'"' '{print $2}'|awk '{print $1}'|awk -F"Xmx" '{print $2}')
          echo "${indexName20}: ${KAFKA_MEM_MAX}"
       fi
    done
fi

echo -e "---------------------------------------------------"
###########应用系统进程数量 ###########
indexName21="应用系统进程数量"
NUM22=$(ps -eo user,pid,cmd|awk '{if($1=="bxapp")print}'|wc -l)
echo "${indexName21}:"${NUM22}

执行这个脚本：

[root@kevin_test app_process_index]# sh 20_app_process_index_shell.sh
指标类型: 应用进程相关指标
指标采集时间: 1561029337
主机名: kevin_test
应用名称: bobo
发送数据源主机: /root/100_app_index/app_process_index/20_app_process_index_shell.sh@192.168.10.99

此次采集应用进程相关指标情况如下:
---------------------------------------------------
应用进程占内存百分比: 69.7%
---------------------------------------------------
应用进程占CPU百分比: 13.8%
---------------------------------------------------
应用进程run最长时间: 609-08:33:26 
进程: ../src/redis-sentinel
---------------------------------------------------
应用进程TIME-WAIT连接数: 0
---------------------------------------------------
应用进程ESTABLISHED连接数: 455
---------------------------------------------------
应用进程FIN_WAIT2连接数: 0
---------------------------------------------------
日志空间使用率: 20%
---------------------------------------------------
应用程序空间使用率: 75%
---------------------------------------------------
应用所在磁盘读速率（Blk/s）: 2.30
---------------------------------------------------
应用所在磁盘写速率（Blk/s）: 16.41
---------------------------------------------------
应用所在磁盘TPS: 1.31
---------------------------------------------------
当前没有Tomcat进程，TOMCAT分配最小内存: 0
---------------------------------------------------
当前没有Tomcat进程，TOMCAT分配最大内存: 0
---------------------------------------------------
当前没有Tomcat进程，TOMCAT分配年轻代空间: 0
---------------------------------------------------
当前没有Tomcat进程，TOMCAT每个线程的堆栈大小: 0
---------------------------------------------------
当前没有Tomcat进程，TOMCAT-GC时长占比: 0
---------------------------------------------------
Zookeeper分配最小内存: 1459M
---------------------------------------------------
Zookeeper分配最大内存: 1459M
---------------------------------------------------
当前没有KAFKA进程，KAFKA分配最小内存: 0
---------------------------------------------------
当前没有KAFKA进程，KAFKA分配最大内存: 0
---------------------------------------------------
应用系统进程数量:10

注意：上面是还没有转化JSON格式的脚本。下面是转化为JSON格式后的脚本（实际用的就是下面这个脚本）

[root@kevin_test app_process_index]# cat 20_app_process_index.sh 
#!/bin/bash

source /etc/profile
hostName=$(hostname)
IP=$(ifconfig eth0| sed -nr '2s/(^[^0-9]+)([0-9.]+)+( .*$)/\2/gp')
appName=$(echo ${hostName:3:3})

collectTime=$(date +'%s')
dataSource=$(echo "$0@${IP}")
indexType="app_process"


###########应用进程占内存百分比###########
ps auxw|grep bxapp|awk '{if (NR>1){print $4}}' > /tmp/mem_list
NUM1=`cat /tmp/mem_list|wc -l`

if [ $NUM1 -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程占内存百分比\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
   MEM_PER_SUM=$(awk '{MEM_PER+=$1}END{print MEM_PER}' /tmp/mem_list)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程占内存百分比\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${MEM_PER_SUM}%\",
   \"checker\":\"${dataSource}\"
   }+"
fi

###########应用进程占CPU百分比###########
ps auxw|grep bxapp|awk '{if (NR>1){print $3}}' > /tmp/cpu_list
NUM2=`cat /tmp/cpu_list|wc -l`

if [ $NUM2 -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程占CPU百分比\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
   CPU_PER_SUM=$(awk '{CPU_PER+=$1}END{print CPU_PER}' /tmp/cpu_list)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程占CPU百分比\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${CPU_PER_SUM}%\",
   \"checker\":\"${dataSource}\"
   }+"
fi

###########应用进程run最长时间及其进程###########
PID=$(ps -eo user,pid,etime|grep bxapp|sort -k 3 -rn|head -1|awk '{print $2}')
RUN_TIME=$(ps -eo user,pid,etime|grep bxapp|sort -k 3 -rn|head -1|awk '{print $3}')
PROCESS=$(ps -ef|grep ${PID}|grep -v grep|awk '{print $8}')

   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程run最长时间及其进程\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${RUN_TIME}, ${PROCESS}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用进程TIME-WAIT连接数###########
NUM3=$(ss -a|grep -w "TIME_WAIT" |wc -l)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程TIME-WAIT连接数\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${NUM3}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用进程ESTABLISHED连接数###########
NUM4=$(ss -a|grep -w "ESTAB" |wc -l)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程ESTABLISHED连接数\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${NUM4}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用进程FIN_WAIT2连接数###########
NUM5=$(ss -a|grep -w "FIN_WAIT2" |wc -l)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用进程FIN_WAIT2连接数\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${NUM5}\",
   \"checker\":\"${dataSource}\"
   }+"

###########日志空间使用率###########
LOG_SPACE_USER=$(df -h|grep "/var/log"|awk '{print $5}')
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"日志空间使用率\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${LOG_SPACE_USER}\",
   \"checker\":\"${dataSource}\"
   }+"
###########应用程序空间使用率###########
APP_SPACE_USER=$(df -h|grep "/opt"|awk '{print $5}')
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用程序空间使用率\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${APP_SPACE_USER}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用所在磁盘读速率（Blk/s）###########
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
READ=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $3}')
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用所在磁盘读速率（Blk/s）\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${READ}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用所在磁盘写速率（Blk/s）###########
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
WRITE=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $4}')
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用所在磁盘写速率（Blk/s）\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${WRITE}\",
   \"checker\":\"${dataSource}\"
   }+"

###########应用所在磁盘TPS###########
DISK=$(df -h|grep "/opt/${appName}"|awk '{print $1}')
DEVICE=$(df -h|grep "/opt/${appName}"|awk '{print $1}'|awk -F"/" '{print $3}')
TPS=$(iostat ${DISK}|grep -w ${DEVICE}|awk '{print $2}')
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用所在磁盘TPS\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${TPS}\",
   \"checker\":\"${dataSource}\"
   }+"

###########TOMCAT分配最小内存 ###########
NUM6=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM6} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"TOMCAT分配最小内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Tomcat进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM7=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM7} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMS=$(ps -ef|grep ${TOMCAT}/|grep "\-Xms"|awk -F"-Xms" '{print $2}'|cut -d" " -f1)
          echo -e "{
          \"type\":\"${indexType}\",
          \"desc\":\"TOMCAT分配最小内存\",
          \"@timestamp\":\"${collectTime}\",
          \"appname\":\"${appName}\",
          \"hostname\":\"${hostName}\",
          \"value\":\"${XMS}  (实例名:${TOMCAT})\",
          \"checker\":\"${dataSource}\"
          }+"
      fi
    done
fi

###########TOMCAT分配最大内存 ###########
NUM8=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM8} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"TOMCAT分配最大内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Tomcat进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM9=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM9} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMX=$(ps -ef|grep ${TOMCAT}/|grep "\-Xmx"|awk -F"-Xmx" '{print $2}'|cut -d" " -f1)
          echo -e "{
          \"type\":\"${indexType}\",
          \"desc\":\"TOMCAT分配最大内存\",
          \"@timestamp\":\"${collectTime}\",
          \"appname\":\"${appName}\",
          \"hostname\":\"${hostName}\",
          \"value\":\"${XMX}  (实例名:${TOMCAT})\",
          \"checker\":\"${dataSource}\"
          }+"
      fi
    done
fi

###########TOMCAT分配年轻代空间 ###########
NUM10=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM10} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"TOMCAT分配年轻代空间\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Tomcat进程\",
   \"checker\":\"${dataSource}\"
   }+"

else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM11=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM11} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XMN=$(ps -ef|grep ${TOMCAT}/|grep "\-Xmn"|awk -F"-Xmn" '{print $2}'|cut -d" " -f1)
          echo -e "{
          \"type\":\"${indexType}\",
          \"desc\":\"TOMCAT分配年轻代空间\",
          \"@timestamp\":\"${collectTime}\",
          \"appname\":\"${appName}\",
          \"hostname\":\"${hostName}\",
          \"value\":\"${XMN}  (实例名:${TOMCAT})\",
          \"checker\":\"${dataSource}\"
          }+"
      fi
    done
fi

###########TOMCAT每个线程的堆栈大小 ###########
NUM12=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM12} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"TOMCAT每个线程的堆栈大小\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Tomcat进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM13=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM13} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        XSS=$(ps -ef|grep ${TOMCAT}/|grep "\-Xss"|awk -F"-Xss" '{print $2}'|cut -d" " -f1)
          echo -e "{
          \"type\":\"${indexType}\",
          \"desc\":\"TOMCAT每个线程的堆栈大小\",
          \"@timestamp\":\"${collectTime}\",
          \"appname\":\"${appName}\",
          \"hostname\":\"${hostName}\",
          \"value\":\"${XSS}  (实例名:${TOMCAT})\",
          \"checker\":\"${dataSource}\"
          }+"
      fi
    done
fi

###########TOMCAT-GC时长占比 ###########
NUM14=$(ps -ef|grep -w tomcat|grep -v grep|wc -l)
if [ ${NUM14} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"TOMCAT-GC时长占比\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Tomcat进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    for TOMCAT in $(find /opt/${appName}/ -name *tomcat* -type d)
    do
      NUM15=$(ps -ef|grep ${TOMCAT}|grep -v grep|wc -l)
      if [ ${NUM15} -eq 0 ];then
        echo "not ${TOMCAT}" >> /dev/null 2>&1
      else
        GC=$(ps -ef|grep ${TOMCAT}/|grep "\GCTimeRatio"|awk -F"GCTimeRatio" '{print $2}'|cut -d" " -f1|awk -F"=" '{print $2}')
          echo -e "{
          \"type\":\"${indexType}\",
          \"desc\":\"TOMCAT-GC时长占比\",
          \"@timestamp\":\"${collectTime}\",
          \"appname\":\"${appName}\",
          \"hostname\":\"${hostName}\",
          \"value\":\"${GC}  (实例名:${TOMCAT})\",
          \"checker\":\"${dataSource}\"
          }+"
      fi
    done
fi

###########Zookeeper分配最小内存###########
#zookeeper安装时没有手动定义内存配置，默认为系统内存的四分之一
NUM16=$(ps -ef|grep zookeeper|grep -v grep|wc -l)
if [ ${NUM16} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"Zookeeper分配最小内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Zookeeper进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
   MEM_TOTAL=$(free -m|grep "Mem"|awk '{print $2}')
   ZK_MEM_MIN=`expr ${MEM_TOTAL} / 4`
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"Zookeeper分配最小内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${ZK_MEM_MIN}M\",
   \"checker\":\"${dataSource}\"
   }+"
fi

###########Zookeeper分配最大内存###########
#zookeeper安装时没有手动定义内存配置，默认为系统内存的四分之一
NUM17=$(ps -ef|grep zookeeper|grep -v grep|wc -l)
if [ ${NUM17} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"Zookeeper分配最大内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有Zookeeper进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
   MEM_TOTAL=$(free -m|grep "Mem"|awk '{print $2}')
   ZK_MEM_MAX=`expr ${MEM_TOTAL} / 4`
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"Zookeeper分配最大内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${ZK_MEM_MAX}M\",
   \"checker\":\"${dataSource}\"
   }+"
fi

###########KAFKA分配最小内存 ###########
NUM18=$(ps -ef|grep kafka|grep -v grep|wc -l)
if [ ${NUM18} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"KAFKA分配最小内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有KAFKA进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    cd /opt/${appName}/
    for KAFKA in $(find /opt/${appName}/ -name *kafka* -type d)
    do
    NUM19=$(ps -ef|grep ${KAFKA}|grep -v grep|wc -l)
       if [ ${NUM19} -eq 0 ];then
          echo "not this ${KAFKA}" >/dev/null 2>&1
       else
          FILE=${KAFKA}/bin/kafka-server-start.sh 
          KAFKA_MEM_MIN=$(cat ${FILE}|grep "Xmx"|awk -F'"' '{print $2}'|awk '{print $2}'|awk -F"Xms" '{print $2}')
          echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"KAFKA分配最小内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${KAFKA_MEM_MIN}\",
   \"checker\":\"${dataSource}\"
   }+"
       fi
    done
fi

###########KAFKA分配最大内存 ###########
NUM20=$(ps -ef|grep kafka|grep -v grep|wc -l)
if [ ${NUM20} -eq 0 ];then
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"KAFKA分配最大内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"当前没有KAFKA进程\",
   \"checker\":\"${dataSource}\"
   }+"
else
    cd /opt/${appName}/
    for KAFKA in $(find /opt/${appName}/ -name *kafka* -type d)
    do
    NUM21=$(ps -ef|grep ${KAFKA}|grep -v grep|wc -l)
       if [ ${NUM21} -eq 0 ];then
          echo "not this ${KAFKA}" >/dev/null 2>&1
       else
          FILE=${KAFKA}/bin/kafka-server-start.sh 
          KAFKA_MEM_MAX=$(cat ${FILE}|grep "Xmx"|awk -F'"' '{print $2}'|awk '{print $1}'|awk -F"Xmx" '{print $2}')
          echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"KAFKA分配最大内存\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${KAFKA_MEM_MAX}\",
   \"checker\":\"${dataSource}\"
   }+"
       fi
    done
fi

###########应用系统进程数量 ###########
NUM22=$(ps -eo user,pid,cmd|awk '{if($1=="bxapp")print}'|wc -l)
   echo -e "{
   \"type\":\"${indexType}\",
   \"desc\":\"应用系统进程数量\",
   \"@timestamp\":\"${collectTime}\",
   \"appname\":\"${appName}\",
   \"hostname\":\"${hostName}\",
   \"value\":\"${NUM22}\",
   \"checker\":\"${dataSource}\"
   }"

执行这个脚本（JSON字段跟上面ES入仓要求的字段匹配）：

[root@kevin_test app_process_index]# sh 20_app_process_index.sh
{
   "type":"app_process",
   "desc":"应用进程占内存百分比",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"69.7%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用进程占CPU百分比",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"13.8%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用进程run最长时间及其进程",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"609-08:36:42, ../src/redis-sentinel",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用进程TIME-WAIT连接数",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用进程ESTABLISHED连接数",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"454",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用进程FIN_WAIT2连接数",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"日志空间使用率",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"20%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用程序空间使用率",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"75%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用所在磁盘读速率（Blk/s）",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"2.30",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用所在磁盘写速率（Blk/s）",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"16.41",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用所在磁盘TPS",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1.31",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"TOMCAT分配最小内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"TOMCAT分配最大内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"TOMCAT分配年轻代空间",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"TOMCAT每个线程的堆栈大小",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"TOMCAT-GC时长占比",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"Zookeeper分配最小内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"Zookeeper分配最大内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"KAFKA分配最小内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"KAFKA分配最大内存",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }+
{
   "type":"app_process",
   "desc":"应用系统进程数量",
   "@timestamp":"1561029533",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"10",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

二、然后使用python调用shell脚本，调取shell脚本的执行结果
下面三个脚本都可以使用，区别在于：
第一个脚本：默认就是在当前路径下调用shell脚本，shell和python两个脚本是放在统一目录下的
第二个脚本和第三个脚本：先获取当前脚本所在目录路径，然后在python脚本里调用shell脚本时，使用的是shell脚本全路径

这里推荐使用第三个脚本，但是注意：
使用第二或第三个脚本时，shell脚本里的dataSource要写成：dataSource=$(echo "$0@${IP}")
而使用第一个脚本时，shell脚本里的dataSource要写成：dataSource=$(echo "`pwd`/$0@${IP}")

区别就是：
第一或第二个脚本，在输出的JSON格式的结果中，checker不会带上`pwd`
第三个脚本，在输出的JSON格式的结果中，checker会带上`pwd`，所以就不需要在shell脚本里再加上`pwd`，否则路径就多了~

第一个脚本==================================================================
[root@kevin_test app_process_index]# cat 20_app_process_index.py
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
import json

#默认就在当前路径下执行20_app_process_index.sh
json_set = os.popen("sh 20_app_process_index.sh").read().split('+')
for json_str in json_set:
    print json_str

第二个脚本==================================================================
[root@kevin_test app_process_index]# cat 20_app_process_index.py1 
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
import json

#获取当前路径，调用shell脚本, 执行时跟全路径
now_path=os.path.abspath('.')
index_script="sh %s/20_app_process_index.sh" % (now_path)

json_set = os.popen(index_script).read().split('+')
for json_str in json_set:
    print json_str

第三个脚本================================================================
[root@kevin_test app_process_index]# cat 20_app_process_index.py2
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
import json

#获取当前路径，调用shell脚本, 执行时跟全路径
now_path=os.path.abspath(__file__)
now_path=os.path.dirname(now_path)
index_script="sh %s/20_app_process_index.sh" % (now_path)

json_set = os.popen(index_script).read().split('+')
for json_str in json_set:
    print json_str

来看看几个脚本结果：
如下第一个脚本的"checker" 字段，由于shell脚本里的"dataSource"没有带"pwd"，所以"checker"字段中的脚本路径不全

[root@kevin_test app_process_index]# python 20_app_process_index.py
{
   "type":"app_process",
   "desc":"应用进程占内存百分比",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"69.7%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程占CPU百分比",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"13.8%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程run最长时间及其进程",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"609-08:46:50, ../src/redis-sentinel",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程TIME-WAIT连接数",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程ESTABLISHED连接数",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"455",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程FIN_WAIT2连接数",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"日志空间使用率",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"20%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用程序空间使用率",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"75%",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘读速率（Blk/s）",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"2.30",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘写速率（Blk/s）",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"16.41",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘TPS",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1.31",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配最小内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配最大内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配年轻代空间",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT每个线程的堆栈大小",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT-GC时长占比",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"Zookeeper分配最小内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"Zookeeper分配最大内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"KAFKA分配最小内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"KAFKA分配最大内存",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用系统进程数量",
   "@timestamp":"1561030141",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"11",
   "checker":"20_app_process_index.sh@192.168.10.99"
   }

第二或第三个脚本执行结果一样，"checker"字段中的脚本路径是完整路径

[root@kevin_test app_process_index]# python 20_app_process_index.py 
{
   "type":"app_process",
   "desc":"应用进程占内存百分比",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"70.8%",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程占CPU百分比",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"144.8%",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程run最长时间及其进程",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"609-08:51:53, ../src/redis-sentinel",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程TIME-WAIT连接数",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程ESTABLISHED连接数",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"456",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用进程FIN_WAIT2连接数",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"0",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"日志空间使用率",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"20%",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用程序空间使用率",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"75%",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘读速率（Blk/s）",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"2.30",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘写速率（Blk/s）",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"16.41",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用所在磁盘TPS",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1.31",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配最小内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配最大内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT分配年轻代空间",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT每个线程的堆栈大小",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"TOMCAT-GC时长占比",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有Tomcat进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"Zookeeper分配最小内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"Zookeeper分配最大内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"1459M",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"KAFKA分配最小内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"KAFKA分配最大内存",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"当前没有KAFKA进程",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

{
   "type":"app_process",
   "desc":"应用系统进程数量",
   "@timestamp":"1561030444",
   "appname":"bobo",
   "hostname":"kevin_test",
   "value":"10",
   "checker":"/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99"
   }

最后将上面的第三个脚本整合到"20_app_process_index_es.py"脚本里，作为ES入仓请求的脚本

[root@kevin_test app_process_index]# cat 20_app_process_index_es.py 
#!/usr/bin/python
# -*- coding: UTF-8 -*-

import urllib2  
import hashlib
import json
import os

now_path=os.path.abspath(__file__)
now_path=os.path.dirname(now_path)
index_script="sh %s/20_app_process_index.sh" % (now_path)

json_set = os.popen(index_script).read().split('+')

app_index = []
for json_str in json_set:
    app_index.append(json.loads(json_str))

url = 'http://192.168.10.10:10222/haha/heiheiAPI/test_1_kafka'
data = {
    'token': 'bd1df2b11111111112222222222222222333333333333333333yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy',
    'data': app_index
}

headers = {'Content-Type': 'application/json'}
req = urllib2.Request(url, json.dumps(data), headers = headers)
res = urllib2.urlopen(req).read()

print res
#print app_index

执行这个请求脚本

[root@kevin_test app_process_index]# python 20_app_process_index_es.py
{"retCode": 200}

将脚本中的最后一行注释打开（即"#print app_index"），测试下入仓的数据：
[root@kevin_test app_process_index]# python 20_app_process_index_es.py
{"retCode": 200}
[{u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', u'value': u'69.7%', u'checker': 
u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': u'
\u5e94\u7528\u8fdb\u7a0b\u5360\u5185\u5b58\u767e\u5206\u6bd4'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', 
u'hostname': u'kevin_test', u'value': u'13.8%', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', 
u'type': u'app_process', u'desc': u'\u5e94\u7528\u8fdb\u7a0b\u5360CPU\u767e\u5206\u6bd4'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', 
u'hostname': u'kevin_test', u'value': u'609-08:54:24, ../src/redis-sentinel', u'checker': 
u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': 
u'\u5e94\u7528\u8fdb\u7a0brun\u6700\u957f\u65f6\u95f4\u53ca\u5176\u8fdb\u7a0b'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': 
u'kevin_test', u'value': u'0', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', 
u'desc': u'\u5e94\u7528\u8fdb\u7a0bTIME-WAIT\u8fde\u63a5\u6570'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'458', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': 
u'\u5e94\u7528\u8fdb\u7a0bESTABLISHED\u8fde\u63a5\u6570'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'0', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': 
u'\u5e94\u7528\u8fdb\u7a0bFIN_WAIT2\u8fde\u63a5\u6570'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'20%', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', 
u'desc': u'\u65e5\u5fd7\u7a7a\u95f4\u4f7f\u7528\u7387'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'75%', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': 
u'\u5e94\u7528\u7a0b\u5e8f\u7a7a\u95f4\u4f7f\u7528\u7387'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'2.30', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', u'desc': 
u'\u5e94\u7528\u6240\u5728\u78c1\u76d8\u8bfb\u901f\u7387\uff08Blk/s\uff09'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': 
u'kevin_test', u'value': u'16.41', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', 
u'desc': u'\u5e94\u7528\u6240\u5728\u78c1\u76d8\u5199\u901f\u7387\uff08Blk/s\uff09'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': 
u'kevin_test', u'value': u'1.31', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': u'app_process', 
u'desc': u'\u5e94\u7528\u6240\u5728\u78c1\u76d8TPS'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', u'value': 
u'\u5f53\u524d\u6ca1\u6709Tomcat\u8fdb\u7a0b', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', u'type': 
u'app_process', u'desc': u'TOMCAT\u5206\u914d\u6700\u5c0f\u5185\u5b58'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': u'kevin_test', 
u'value': u'\u5f53\u524d\u6ca1\u6709Tomcat\u8fdb\u7a0b', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', 
u'type': u'app_process', u'desc': u'TOMCAT\u5206\u914d\u6700\u5927\u5185\u5b58'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': 
u'kevin_test', u'value': u'\u5f53\u524d\u6ca1\u6709Tomcat\u8fdb\u7a0b', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99', 
u'type': u'app_process', u'desc': u'TOMCAT\u5206\u914d\u5e74\u8f7b\u4ee3\u7a7a\u95f4'}, {u'appname': u'bobo', u'@timestamp': u'1561030595', u'hostname': 
u'kevin_test', u'value': u'\u5f53\u524d\u6ca1\u6709Tomcat\u8fdb\u7a0b', u'checker': u'/root/100_app_index/app_process_index/20_app_process_index.sh@192.168.10.99',

======================================================
上面涉及到python的当前路径调用问题（即上面讨论的第一、二、三的python脚本）

这里对python获取当前目录路径和文件的方法做个记录：
一、获取当前路径

1）使用sys.argv[0]
import sys
print sys.argv[0]
#输出
#本地路径
     
2）os模块
import  os
print os.getcwd()                     #获取当前工作目录路径
print os.path.abspath('.')            #获取当前工作目录路径
print os.path.abspath('test.txt')     #获取当前目录文件下的工作目录路径
print os.path.abspath('..')           #获取当前工作的父目录 ！注意是父目录路径
print os.path.abspath(os.curdir)      #获取当前工作目录路径

3）改变当前目录
使用: os.chdir(path)。

4）组合路径返回
os.path.join('file1','file2','file3')
合并得到路径 file1/file2/file3

二、获得当前目录下所有文件

1）os.walk() 用于在目录树种游走输出目录中的文件名字，向上或下；

语法
os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]])

参数：
top -- 根目录下的每一个文件夹(包含它自己), 产生3-元组 (dirpath, dirnames, filenames)【文件夹路径, 
       文件夹名字, 文件名】。

topdown --可选，为True或者没有指定, 一个目录的的3-元组将比它的任何子文件夹的3-元组先产生 (目录自上而下)。
          如果topdown为 False, 一个目录的3-元组将比它的任何子文件夹的3-元组后产生 (目录自下而上)。

onerror -- 可选，是一个函数; 它调用时有一个参数, 一个OSError实例。报告这错误后，继续walk,或者抛出exception终止walk。

followlinks -- 设置为 true，则通过软链接访问目录。

2）
import os
root = os.getcwd()

def file_name(file_dir):
    for root, dirs, files in os.walk(file_dir):
        print "-----------"
        print root    #os.walk()所在目录
        print dirs    #os.walk()所在目录的所有目录名
        print files   #os.walk()所在目录的所有非目录文件名
        print " "

file_name(root)

转载于:https://www.cnblogs.com/kevingrace/p/11044716.html

weixin_30363509
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据复习篇 Top1
Lifeistoo的博客
11-25 1005
复习资料第一期
6 步搭建数据平台—从指标体系到相关技术 | 周四话数据
神策数据
04-18 999
在开始介绍数据平台搭建的流程之前，先简单说说为什么企业需要搭建数据平台。互联网与智能移动设备的迅速发展，使记录并保存用户的每一次日常行为及交易行为成为可能，这些信息以数据...
es实战-数据入库详解refresh，flush，translog
qq_16164711的博客
10-15 1313
由于这部分内容涉及到很多 Lucene 和操作系统等内容，个人理解可能不到位或者有误，还请各位看客指出存在的问题，不吝赐教 1. 重要知识点 1. refresh： 当我们向ES发送请求的时候，我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es 索引提交（commit）的过程，如果这个提交的过程直接将数据写入磁盘（fsync）必然会影响性能，所以es中设计了一种机制，即：先将index-buffer中文档（document）解析完成的segment写到file
“智能运维数据采集系统：提升IT运维效率的新利器
weixin_50615370的博客
11-16 750
在当今的信息化社会，企业的IT运维工作越来越复杂，数据的采集、处理和分析成为了IT运维人员的重要任务。然而，随着企业业务的不断发展，IT运维工作的压力也在不断增大，如何提高IT运维效率，提升服务质量，成为了企业IT运维部门面临的一大挑战。在实际应用中，智能运维数据采集系统已经得到了广泛的认可。许多企业已经将其纳入了IT运维管理的重要组成部分，通过使用该系统，他们成功地提高了IT运维效率，降低了运维成本，提高了服务质量。智能运维数据采集系统的实施，将极大地提升企业的IT运维效率，降低运维成本，提高服务质量。
系统运维系列 之网络编程/数据采集/交互方式汇总
langxiaolin的博客
02-09 456
本篇博客意在总结一下数据采集/交互的方式，直白点说就是接口/通信的问题，即怎样建立和对端的通信连接，数据怎样传送，采用什么方式入库等。我们的世界就是一个万物互联的世界，本质上讲日常生活中我们都在做信息交互，像古代战争时候的烽火台，到近现代战争的电报/电话，再到现在的互联网/信息化，信息的交互非常重要。 网络编程的三要素： IP地址：每个设备在网络中的唯一标识，本地回路地址127.0.0.1，广播地址255.255.255.255，IPV4 4个0-255，IPV6 共8组，每组4个16进制； 端口号：每个程
如何解决HBase海量数据高效入仓的问题？
weixin_51689029的博客
12-07 389
如何解决HBase海量数据高效入仓的问题？数据仓库的数据来源于各方业务系统，高效准确的将业务系统的数据同步到数仓是数仓建设的根本。部分业务数据存储在HBase中，这部分数据体量较大达到数十亿。大数据需要增量同步这部分业务数据到数据仓库中进行离线分析，目前主要的同步方式是通过HBase的hive映射表来实现的。这种方式目前存在的缺陷：需要对HBase表进行全表扫描对HBase库有一定压力同步数据同步速度慢；业务方对HBase表字段变更之后需要重建hive映射表给权限维护带来一定的困难；业务方对HBase表字段
Flink CDC 如何简化实时数据入湖入仓-Flink Forward Asia 2021.pdf
04-29
Flink CDC 如何简化实时数据入湖入仓-Flink Forward Asia 2021
通达信指标公式源码 相对低价入仓副图指标.doc
07-30
【通达信指标公式源码】中的知识点主要涉及股票市场技术分析中的多个指标，这些指标用于判断股票的相对低价买入时机、价格趋势以及买卖信号。以下是详细的解释： 1. **VAR2~VAR12**: 这些是自定义的技术指标变量，...
通达信指标公式源码 相对低价入仓.doc
07-30
【通达信指标公式源码】是用于股票分析的一种自定义技术指标，它结合了多个技术分析元素，帮助投资者在相对低价时寻找入仓时机。这个指标公式的主要目的是通过复杂的数据计算来判断股票的底部形态，以便在市场回调时...
基于 Flink CDC 高效实现海量数据实时入湖入仓.pdf
最新发布
01-25
"基于 Flink CDC 高效实现海量数据实时入湖入仓" 本文档主要介绍了基于 Flink CDC 的高效实现海量数据实时入湖入仓的技术架构和实践经验。Flink CDC 是一种开源的 Change Data Capture（CDC）技术，它可以实时捕捉...
行业资料-交通装置-一种堆石料入仓施工中使用的运输笼.zip
08-18
行业资料-交通装置-一种堆石料入仓施工中使用的运输笼.zip
ESCloud运维介绍
11-20
ESCloud运维介绍，阐述云平台基础上的运维管理架构 ESCloud运维介绍，阐述云平台基础上的运维管理架构
业务库数据入仓的策略
m0_61607827的博客
02-24 713
业务数据用datax导入，全量初始化，之后每次增量采用拉链表。 对于数据不断变化以及不断新增的表（事实表，流水表等）（量级肯定很大），比如订单表，开团记录表，优惠券领取使用记录表等 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决
运维监控系统-监控项及指标的梳理
热门推荐
程序员杂谈
11-06 2万+
综合监控功能工具 综合监控工具完成对被管对象的集中监控、集中维护和集中管理，被管对象包括网络设备、服务器、PC设备、数据库、中间件、存储、备份、安全设备、应用系统等。工程师通过这类工具，完成对被管网元配置、性能、告警信息的采集、处理和分析。通过网管数据的采集和处理，实现对系统的统一监控，形成告警数据、性能数据和配置数据。 监控对象及指标的梳理 编号 对象分类 资源 ...
运维不容错过的4个关键指标！
wangpeng198688的专栏
12-03 1万+
很难说，生活在这个数据大爆炸的时代对运维同学是福还是祸。灵活的监控系统、开放 API 和易用的数据可视化资源可以将任何想要的数据图表化地显示出来，但是，过多的数据容易产生干扰，反而不利于具体信息提取和操作。关于监控哪些指标，以及为什么要从系统化的角度出发，我们进行过深入的思考。本文中，我们想与大家分享一些具体的指标和准则，进一步帮助团队衡量并提高运维性能。以下整理了4个关键性运维指标：告警事件数量如
数据仓库从0-1
11-14
结合当前数仓市场需求授课，整个课程整体从数据仓库搭建开始出发讲解整个大数据体系中如何搭建数据中台，从数据仓库为基础构建延伸出数据管理，数据质量，元数据管理等。 
es搜索 核心指标_Elasticsearch（es）集群运维可视化监控工具及核心指标
weixin_35725654的博客
12-23 354
Elasticsearch 监控主要分为六个层面，分别是集群层、节点层、索引层、分片层、事件层、Sense。Es 监控可以有很多种形式，每个工具的侧重点都不一样，传统的 zabbix 可以监控系统级别的数据、ES 公司推出的商业化监控方案Marvel、查看索引数据的 head 工具、可视化查询及写入工具 Kibana 等等。监控相关 APIElasticsearch 中集群相关的健康、统计等相关...
Elasticsearch核心指标
zhinengyunwei的博客
01-19 1142
作者：焦振清 时间：2018-06-26 基于Google的监控方案，将ES监控归为两大类五个子类，分别是黑盒监控和白盒监控（四个黄金指标），详情可以参考书籍《SRE Google运维解密》第53页 黑盒监控 功能监控 Health：Green 白盒监控 错误 Active_shards_percent_as_number Number_of_pending_task index/bul...
ES 集群关键状态指标
无锋剑
08-25 1772
ES监控状态指标分三个级别： 1：集群级别：集群级别的监控主要是针对整个ES集群来说，包括集群的健康状况、集群的状态等。2：节点级别：节点级别的监控主要是针对每个ES实例的监控，其中包括每个实例的查询索引指标和物理资源使用指标。3：索引级别：索引级别的监控主要是针对每个索引来说，主要包括每个索引的性能指标。 1集群级别： 查看方法： api获取：http://ip:9200/_cluster/he...
详细讲解数据入仓流程与应用工具
07-28
数据入仓流程是将数据从不同的源头收集并加载到数据仓库或数据湖中以供分析和查询使用的过程。下面是数据入仓流程的一般步骤： 1. 确定需求：首先，您需要明确您的数据入仓需求，包括要收集和加载的数据类型、来源...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值