用python抓取yarn和jstorm界面资源信息在grafana展示_grafana 收集 yarn-queues

2401_84139192

于 2024-05-14 07:51:06 发布

阅读量929

点赞数 9

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/2401_84139192/article/details/138834813

版权

程序员专栏收录该内容

146 篇文章 0 订阅

订阅专栏

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

在这里插入图片描述

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

                Tallmem = allresource["memory"] / (1024 \* 1024)
                tmplist.append(Tallmem)
                #4总cu(cu与内存比计算,1:4)
                Tallcu = allresource["memory"] / (1024 \* 4)
                tmplist.append(Tallcu)
                #5内存使用率
                memusedpercent = (usedresource["memory"]) / allresource["memory"] \* 100
                tmplist.append(memusedpercent)
                #6vcore使用量
                cu_used=usedresource["vCores"]
                tmplist.append(cu_used)
                #7总CU（按vcore计算）
                Tallcu = allresource["vCores"]
                tmplist.append(Tallcu)
                #8 min总CU
                minallcu = min(Tallcu,allresource["vCores"])
                tmplist.append(minallcu)
                #9 CU使用率
                cuusedpercent = (usedresource["vCores"]) / allresource["vCores"] \* 100
                #print("CU使用率：" + str('%.1f' % cuusedpercent) + "%")
                tmplist.append(cuusedpercent)
                #10最大使用率，从内存和cu使用率比较出最大的值
                maxused=max(memusedpercent,cuusedpercent)
                tmplist.append(maxused)
                #11使用率70%前剩余CU
                spercent = (70 - maxused) \* minallcu / 100
                tmplist.append(spercent)
                #12使用率80%前剩余CU
                epercent = (80 - maxused) \* minallcu / 100
                tmplist.append(epercent)
                #13时间
                #对数字限制小数位为 1
                insertdata=[]
                for dt in tmplist:
                    #if dt is not str:
                    if dt != '':
                        insertdata.append(round(dt,1))
                #记录当前时间
                ctime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
                timeArray = time.strptime(ctime, "%Y-%m-%d %H:%M:%S")
                timestamp = int(time.mktime(timeArray))
                insertdata.append(ctime)
                insertdata.append(timestamp)
                #将集群名称插到列表的第一位
                insertdata.insert(0,clustername)
                #将队列名插到列表的第二位
                insertdata.insert(1,queuename)
                #获取集群的节点数
                getnodes=self.getnodestattus(urlinfo)
                insertdata.insert(1,getnodes[0])
                insertdata.insert(2,getnodes[1])
                
                SQL = cnnMysql.create_sql(self, insertdata)
                print(SQL)
                try:
                   cnnMysql.insertdata2mysql(self, SQL)
                except ValueError:
                   print('SQL不正确，请检查SQL！！！')

def getnodestattus(self,yarn_url):
    url = yarn_url + str('/ws/v1/cluster/metrics')
    req = requests.get(url)
    # 将url请求信息json化
    result_json = json.loads(req.text)
    # print(result\_json)
    # 取字典值到子队列
    result = result_json["clusterMetrics"]
    totalNodes = result["totalNodes"]
    lostNodes = result["lostNodes"]
    unhealthyNodes = result['unhealthyNodes']
    decommissionedNodes = result['decommissionedNodes']
    rebootedNodes = result['rebootedNodes']
    activeNodes = result['activeNodes']
    return totalNodes,activeNodes

#Jstorm集群资源统计
class JstormRS:
def getJstormResource(self,url_dict):
# 初始化插入数据的列表
for clustername, urlinfo in url_dict.items():
tmplistdata = []
# 1.集群名称
jstormUI_url = urlinfo + str(‘/cluster?name=xx-jstorm’)
req = requests.get(url=jstormUI_url)
req.encoding = “utf-8”
html = req.text
soup = BeautifulSoup(req.text, features=“html.parser”)
jstormweb_items = soup.find_all(“table”, class_=“table table-bordered table-hover table-striped center”)
#临时列表
infolist=[]
for jstormweb_item in jstormweb_items:
list = []
dd = jstormweb_item.text.strip()
list.append(dd)
for i in list:
t = i.split(‘\n’)
tmplist = []
if ‘Cluster Name’ in t:
for j in t:
if len(j) > 0:
tmplist.append(j)
Supervisors = tmplist[7]
PortsUsage = tmplist[8]
allPorts = PortsUsage.split(“/”)[1]
usePorts = PortsUsage.split(“/”)[0]
Topologies = tmplist[9]
allMem = (int(allPorts) * 4)
useMem = (int(usePorts) * 4)
tPortsUsagePercent = (int(usePorts) / int(allPorts)) * 100
PortsUsagePercent = round(tPortsUsagePercent, 1)
sPercent = (70 - PortsUsagePercent) * int(allPorts) / 100
ePercent = (80 - PortsUsagePercent) * int(allPorts) / 100
infolist.append(clustername)
infolist.append(Supervisors)
infolist.append(allPorts)
infolist.append(usePorts)
infolist.append(PortsUsagePercent)
infolist.append(allMem)
infolist.append(useMem)
infolist.append(Topologies)
infolist.append(round(sPercent,1))
infolist.append(round(ePercent,1))

        SQL=cnnMysql.create_sql(self,infolist)
        print(SQL)
        try:
           cnnMysql.insertdata2mysql(self,SQL)
        except ValueError:
           print('SQL不正确，请检查SQL！！！')

#连接MySQL入数据
class cnnMysql:
#生成插入SQL语句
def create_sql(self, data):
if len(data) < 15:
sql = “insert into jstorm_cluster_resourceinfon(cluster_name,all_sv,all_workers,use_workers,used_percent,all_mem,used_mem,”
"topologies,seventy_percent_reserve,eighty_percent_reserve) "
“values(” + “'” + str(data[0]) + “'” + “,” + str(data[1]) + “,” + str(data[2]) + “,” + str(data[3]) + “,” +
“'” + str(data[4]) + str(‘%’) + “'” + “,” + str(data[5]) + “,” + str(data[6]) + “,” + str(data[7]) + “,” + str(data[8]) + “,” + str(data[9]) +
“);”
else:
sql = “insert into flink_cluster_resourceinfo(cluster_name,totalNodes,activeNodes,cluster_queuename,mem_used,”
“mem_total,cu_scale_mem_total,mem_used_percent,cu_used,total_cu,min_cu,cu_used_percent,”
"cu_max_percent,seventy_percent_reserve,eighty_percent_reserve) "
“values(” + “'” + str(data[0]) + “'” + “,” + str(data[1]) + “,” + str(data[2]) + “,” + “'” + str(data[3]) + “'” + “,” + “'” + str(data[4]) + str(‘T’) +
“'” + “,” + “'” + str(data[5]) + str(‘T’) + “'” + “,” + str(data[6]) + “,” + “'” + str(data[7]) +
str(‘%’) + “'” + “,” + str(data[8]) + “,” + str(data[9]) + “,” + str(data[10]) + “,” + “'” +
str(data[11]) + str(‘%’) + “'” + “,” + “'” + str(data[12]) + str(‘%’) + “'” + “,” + str(data[13]) + “,” + str(data[14]) +
“);”

    return sql
    
def insertdata2mysql(self,sql):
    # db为所使用的数据库
    connent = pymysql.connect(host='192.168.0.1', user='test', passwd='#Q@123456', db='test', charset='utf8')  
    cursor = connent.cursor()
    cursor.execute(sql)
    #提交任务，数据才会写入数据库
    connent.commit()

def checkdata\_mysql(self,table):
    connent = pymysql.connect(host='192.168.0.1', user='test', passwd='#Q@123456', db='test', charset='utf8') 
    cursor = connent.cursor()
    csql = "select \* from flink\_cluster\_resourceinfo;"
    check=cursor.execute(csql)
    return check

if name == ‘__main__’:
YarnRSinfo = Resourcinfo()
yarn_dict = {
‘集群1’:‘http://192.168.10.8:8088’,
‘集群2’:‘http://192.168.12.1:8088’,
‘集群3’:‘http://192.168.10.8:8088’
}

YarnRSinfo.getresource(yarn_dict)
jstorm_dict = {
  'jstorm集群99': 'http://192.168.10.100:8080',
  'jstorm集群100': 'http://192.168.1.12:8080'
}
jsrs = JstormRS()
jsrs.getJstormResource(jstorm_dict)


获取Yarn jmx信息：  
 curl -i http://xxx:8088/jmx


Hadoop:service=ResourceManager,name=FSOpDurations  
 Hadoop:service=ResourceManager,name=JvmMetrics  
 Hadoop:service=ResourceManager,name=ClusterMetrics  
 Hadoop:service=ResourceManager,name=RpcActivityForPort8033  
 Hadoop:service=ResourceManager,name=MetricsSystem,sub=Stats  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=user02  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=A,q2=C  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=A  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=A,q2=B  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=default  
 Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=user01


#QueueMetrics  
 running\_0  
 running\_60  
 running\_300  
 running\_1440  
 FairShareMB Fair share of memory in MB  
 FairShareVCores Fair share of CPU in vcores  
 SteadyFairShareMB Steady fair share of memory in MB  
 SteadyFairShareVCores Steady fair share of CPU in vcores  
 MinShareMB Minimum share of memory in MB  
 MinShareVCores Minimum share of CPU in vcores  
 MaxShareMB Maximum share of memory in MB  
 MaxShareVCores Maximum share of CPU in vcores  
 AppsSubmitted application提交个数  
 AppsRunning 正在运行的application个数  
 AppsPending 挂起的application个数  


### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84139192

关注

9
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
用python抓取yarn和jstorm界面资源信息在grafana展示_grafana 收集 yarn-queues

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。‘集群1’:‘http://192.168.10.8:8088’,
复制链接

扫一扫