![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 69
运维仙人
目前在做大数据运维,会点python/java/go,不定时分享所见,所学,所踩的坑~
展开
-
python多线程连接MySQL查数案例
该博文展示地是基本示例,实际使用时可能需要进行调整。例如,你可能需要添加错误处理来确保数据库连接问题不会导致脚本崩溃,或者你可能需要调整查询以匹配你的数据。此外,你需要确保你的系统有足够的内存和处理能力来支持并行处理。如果数据库查询非常消耗资源,你可能需要考虑使用并发处理而不是并行处理,以避免系统过载。原创 2024-02-06 08:23:11 · 553 阅读 · 0 评论 -
python异常修复:UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xbf in position 391: illegal multibyte
在使用configparser模块读取配置文件的参数是,出现如图报错。原创 2024-01-15 23:17:14 · 542 阅读 · 0 评论 -
python定时查询starrocks将结果保存在excel
在工作过程中要定期的更新excel表的信息,每个星期都要去查询strarocks的数据导出结果到excel,俗话说:”不会偷懒的运维不是好运维“,于是写了python小程序解决这个重复的工作,设置定时任务,直接去服务器下载导出的excel表格即可。代码的逻辑简单介绍:将要执行的SQL以名称进行区分保存并放到目录:SQLfileDir,设置结果存放路径:./…/outputdir/。python先查询数据,然后以SQL文件名前缀为excle名称保存,最后移动到指定目录。原创 2023-12-31 10:55:10 · 928 阅读 · 0 评论 -
基于python编写的服务器之间流量传输netflow_exporter
通常企业会在多个机房部署IT系统,在大数据基础服务组件中会集群跨机房部署或是跨机房抽取数据的场景,在抽数任务时间节点没有错开的时候,经常会造成带宽打满的情况,跨机房的带宽费用比较昂贵,不考虑成本去扩跨机房的带宽是不现实的。为了跟踪各服务器之间的网络交互的情况,更好调配抽数任务,用python写了一个netflow_exporter,将服务之间的流量传输进行监控,并将采集的数据接入Prometheus,最后在Grafana上展示。流量走向监控基本思想和实现代码介绍到这里,后面还会继续优化。原创 2023-12-26 00:17:24 · 826 阅读 · 0 评论 -
用python抓取yarn和jstorm界面资源信息在grafana展示
背景:大数据系统分布式计算和存储强大功能推动了科技的进步,而在大数据运维过程中计算资源是时刻要关注的指标。为了能够快速了解集群资源使用率,写了个python脚本将数据入到MySQL,再通过grafana在界面进行展示,当然可以把数据落到时序数据库:tdengine或opntsdb上。本文只用于交流和学习。原创 2023-02-27 22:39:49 · 607 阅读 · 2 评论 -
Python算法概述(2)
四、查找与哈希算法哈希法则是通过数学函数来获取对应的存放地址的,可以快速地找到所需要地数据4.1 常见地查找算法的介绍4.1.1 顺序查找按顺序进行查找,遍历所有元素。优点是不需要做任何处理缺点是查找速度慢时间复杂度为:O(n)4.1.2 二分查找又称折半查找将从小到大排列好的元素分成两半,将中间值跟要查找的数字进行比较,若要查找的数字小于中间值,则在中间值的左边继续查找,反之在中间值的右边查找。常用递归函数进行查找,直到查找完成为止。时间复杂度为:O(logn)4.1.3原创 2021-07-03 10:03:17 · 2515 阅读 · 1 评论 -
Python算法概述(1)
一、算法简介1、定义算法是一组完成任务的指令;有限步骤内解决数学问题的程序;为解决某项工作或某个问题,所需要有限数量的机械性或重复性指令与计算步骤。2、算法的条件(5)输入性,输出性,明确性,有限性,有效性。3、时间复杂度O(1) < O(logn) < O(n) < O(nlogn) < O(n^2) < O(n!)4、常见的大O运行时间(n一般为元素的个数):O(logn):对数时间,例如:二分查找O(n): 线性时间,简单查找O(nlogn原创 2021-06-30 23:46:07 · 7652 阅读 · 17 评论 -
Python连接Postgres/Mysql/Mongo数据库基本操作
## 导入psycopg2包import psycopg2## 连接到一个给定的数据库conn = psycopg2.connect(database="zabbix", user="zabbix",password="zabbix", host="127.0.0.1", port="5432")## 建立游标,用来执行数据库操作cursor = conn.cursor()## 执行SQL命令#cursor.execute("CREATE TABLE test_conn(id int, na原创 2021-06-29 08:36:23 · 1235 阅读 · 6 评论 -
Python的7种数据类型
摘录于《Python高效开发实战:Django、Tornado、Flask、Twisted》书籍,回顾知识点,供大家参考。1、Number类型移位计算:将数字3转为2进制表示:11往右移一位为:1往左移一位为:110总结为:往左移几位就补多少个0,往右移动几位就是从右往左第几为抹掉。2、Sequence 类型簇3、String 类型4、Tuple类型5、List 类型6、Set 类型7、Dictionary 类型《Python原创 2021-06-17 22:53:18 · 1151 阅读 · 0 评论 -
Python题库100-第二天
11、简述面向对象中__new__和__init__区别12、简述with方法打开处理文件帮我我们做了什么?13、列表[1,2,3,4,5],请使用map()函数输出[1,4,9,16,25],并使用列表推导式提取出大于10的数,最终输出[16,25]14、python中生成随机整数、随机小数、0–1之间小数方法15、避免转义给字符串加哪个字母表示原始字符串?16、中国,用正则匹配出标签里面的内容(“中国”),其中class的类名是不确定的17、python中断言方法举例18、数据表stude原创 2021-03-04 00:09:18 · 227 阅读 · 0 评论 -
Python题库(100例)第一天
1、一行代码实现1—100之和2、如何在一个函数内部修改全局变量3、列出5个python标准库4、字典如何删除键和合并两个字典5、谈下python的GIL6、python实现列表去重的方法7、fun(args,**kwargs)中的args,**kwargs什么意思?8、python2和python3的range(100)的区别9、一句话解释什么样的语言能够用装饰器?10、python内建数据类型有哪些11、简述面向对象中__new__和__init__区别12、简述with方法打开处原创 2021-02-19 10:18:20 · 4073 阅读 · 2 评论 -
【转】140种Python标准库、第三方库和外部工具
导读:Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库,又有第三方库和工具。这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互学习和集成开发以及其他Python协同数据工作工具。作者:宋天龙 来源:大数据(ID:hzdashuju)为了区分不同对象的来源和类型,本文将在描述中通过以下方法进行标识:Python内置函数:转载 2021-02-18 21:28:17 · 374 阅读 · 0 评论 -
Python经典题(菜鸟编程)
五人分鱼A、B、C、D、E 五人在某天夜里合伙去捕鱼,到第二天凌晨时都疲惫不堪,于是各自找地方睡觉。日上三杆,A 第一个醒来,他将鱼分为五份,把多余的一条鱼扔掉,拿走自己的一份。B 第二个醒来,也将鱼分为五份,把多余的一条鱼扔掉拿走自己的一份。C、D、E依次醒来,也按同样的方法拿鱼。问他们至少捕了多少条鱼?def main(): fish = 1 while True: total,enough = fish,True for _ in range(5):原创 2021-02-02 23:01:36 · 586 阅读 · 0 评论 -
docker拉取镜像失败提示:“net/http: TLS handshake timeout”
docker拉取镜像失败提示:Hint: Some lines were ellipsized, use -l to show in full.[root@docker-master-79100 ~]# docker pull registry:2.7Trying to pull repository docker.io/library/registry ... Get https://registry-1.docker.io/v2/library/registry/manifests/2.7: n转载 2020-09-13 18:55:08 · 2202 阅读 · 0 评论 -
Python学习(1)
1、Python基础print函数input函数数据类型int(x [,base]) 将x转换为一个整数float(x) 将x转换到一个浮点数complex(real [,imag]) 创建一个复数str(x) 将对象 x 转换为字符串repr(x) 将对象 x 转换为表达式字符串eval(str) 用来计算在字符串中的有效Python表达式,并返回一个对象tuple(s) 将序列 s 转换为一个元组list(原创 2020-09-02 22:47:23 · 93 阅读 · 0 评论