- 博客(35)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pycharm设置python头文件模版
钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？
2023-02-03 17:51:35
770
原创 Python爬虫之xpath语法及案例使用
从xpath是什么，到语法规则介绍，再到三个实战案例。肝了三天三夜，一文扫盲Python常用的xpath解析。
2022-08-15 20:25:17
1990
原创 fiddler5+雷电模拟器4.0对app抓包设置
Fiddler5+雷电模拟器4对app抓包设置，弃用原来的老旧版本，保姆级教程小学生看了都会配置。
2022-07-19 01:51:09
7210
原创 Python调用Prometheus监控数据并计算
工作中需要通过CPU、内存生成资源利用率报表，可以通过Prometheus的API写一个Python脚本。API获取数据，然后再进行数据排序、过滤、运算、聚合，最后写入Mysql数据库。
2021-12-29 17:13:15
6085
1
原创 AWS(amazon ec2)服务器流量查询
aws ec2流量监控亚马逊云服务新用户绑定信用卡免费使用一年，相信很多人白嫖过，选用micro最低配置+流量免费15G，包含上下行。这种配置用来测试玩玩还行，生产使用的话容易超标。很多人想知道流量使用情况但不知道哪里设置，AWS是没有直接查看方式的，需要做一些简单设置，下面开始详细介绍。如何配置1、登录AWS控制台， 直接点击上方搜索栏“CloudWatch”。2、点击左侧 指标 – 全部指标 – EC2（如果全部指标中并没有显示ec2，可能当前控制台没有定位到你服务器所在的地区， 请点击右上
2021-08-24 14:44:24
1501
原创 filebeat+ELK配置及常用操作
背景介绍最近工作涉及几台新服务器的日志需要接入ELK系统，配置思路如下：使用Filebeat收集本地日志数据，Filebeat监视日志目录或特定的日志文件，再发送到消息队列到kafka，然后logstash去获取消费，利用filter功能过滤分析，最终存储到elasticsearch中。filebeat和flume都具有日志收集功能，不过filebeat更轻量，使用go语言编写占用资源更少，可以有很高的并发，带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指
2021-08-20 17:56:05
491
原创 免费个人图床搭建gitee+PicGo
我们写博客的时候经常会需要配图，特别是markdown写的时候只能通过网络链接来展示图片。首先来说存储仓库。测试过几款存储图片的仓库，最终选择方案3：1、阿里OSS需要付费，空间和流量双向收费，对于流量大的用户会有一点小压力。2、GitHub有免费空间，但访问速度太慢，甚至无法访问，一切看运气。3、Gitee访问速度快，但单仓库上限500M，单文件50M，用户总仓库空间为5G。使用Gitee确实速度很快，虽然空间受到限制，不过前期我觉得500M够用。后续多个仓库使用也不会有问题，毕竟不可能免费无
2021-08-16 12:41:36
307
原创 python打包exe之pyinstaller用法
<h1 id="python打包exe之pyinstaller用法">python打包exe之pyinstaller用法</h1><p>pyinstaller可以将python写好的脚本打包成exe
2021-08-07 19:25:03
1974
原创 centos ansible常用命令
ansible在日常运维中经常使用，特别是批量执行多台服务器的时候，有效减小重复的操作成本，以下从安装到使用仅讲解工作中常用的几种方式，模块很多功能很强大，但不做全面讨论。ansible安装在centos服务器中安装ansible很简单，只需两条命令：yum install epel-releaseyum -y install ansibleansible --versionansible 2.9.16 config file = /etc/ansible/ansible.cfg co
2021-08-06 10:31:46
173
原创 python_字典列表嵌套的排序问题
上一篇我们聊到python 字典和列表嵌套用法，这次我们聊聊字典和列表嵌套中的排序问题，这个在python基础中不会提到，但实际经常运用，面试中也喜欢问，我们娓娓道来。在说组合排序之前，先来复习下字典、列表各自是如何排序的。列表排序(List)列表的排序可使用内置sort()字典排序列表中嵌套字典，再根据字典的值排序参考文档python排序sort()和sorted()区别：https://zhuanlan.zhihu.com/p/59702850列表排序方法sort、sorted技巧篇：
2021-07-22 18:06:06
635
原创 python 字典和列表嵌套用法
python平时数据处理中最常用的是字典和列表，这两个用熟练后基本可以应付大部分场景了。不过网上的基础教程只告诉你列表、字典是什么，如何使用，很少会做组合说明。刚好工作中采集prometheus监控接口并做数据处理的时候，用了很多组合场景，列出几个做一些分享。列表(List)序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需
2021-06-28 18:41:25
1040
原创 python try异常处理
什么是异常python异常捕获，在刚开始学的时候，经常会遇到两种报错信息：语法错误和执行的异常。语法错误在执行的时候就会报错，同时控制端会告诉你错误所在的行；但即便python程序语法是正确的，在运行它的时候，也有可能发生错误。比如请求的接口返回空，没有做判断直接拿这个变量进行下一步逻辑处理，就会出现代码异常。大多数的异常都不会被程序处理，都以错误信息的形式展现在这里：>>> 10 * (1/0) # 0 不能作为除数，触发异常Traceback (mo
2021-02-08 18:25:59
367
5
原创 Python_生成器和迭代器的区别
迭代器和生成器的区别是什么？这个问题面试的时候经常被作为灵魂拷问。今天就一起从概念到代码梳理一遍，作为总结和记录。区别是：表面上是同一个东西，基础概念迭代：当创建的对象可以被一个接一个读取里面的值，叫迭代。列表、元组、字典、字符串都是可迭代对象。数字、布尔值是不可迭代的对象。迭代器协议：对象需要提供next()方法，通过它返回迭代中的下一项，直到返回终止抛出StopIteration异常。可迭代对象：实现了迭代器协议对象。list、tuple、dict都是可迭代对象（Iterable），
2020-11-27 11:48:49
413
原创 阿里云ECS磁盘扩容不生效处理办法
原因阿里云ECS云盘扩容后，在Linux服务器上没有生效实际需要几条命令扩容才能正式生效。处理方法先看扩容前磁盘空间，/dev/vda1可以看到只有40G。# df -ThFilesystem Type Size Used Avail Use% Mounted ondevtmpfs devtmpfs 7.5G 0 7.5G 0% /devtmpfs tmpfs 7.6G 0 7.6G 0% /dev/
2020-10-24 13:49:01
1838
原创 mysql 空值（null）和空字符（‘‘）的区别
日常开发中，一般都会涉及到数据库增删改查，那么不可避免会遇到Mysql中的NULL和空字符。空字符（”）和空值（null）表面上看都是空，其实存在一些差异：定义：空值(NULL)的长度是NULL，不确定占用了多少存储空间，但是占用存储空间的空字符串(’’)的长度是0，是不占用空间的通俗的讲：空字符串（’’）就像是一个真空转态杯子，什么都没有。空值（NULL）就像是一个装满空气的杯子，含有东西。二者虽然看起来都是空的、透明的，但是有着本质的区别。区别：在进行count()统计某列时候
2020-09-30 01:36:41
5620
原创 centos 安装python3导致yum报错
centos yum报错 File “/usr/bin/yum”, line 30 except KeyboardInterrupt, e:报错：报错一： File "/usr/bin/yum", line 30 except KeyboardInterrupt, e:报错二： File "/usr/libexec/urlgrabber-ext-down", line 28 except OSError, e:原因：以上两个报错，是因为我安装python3之后，同时让它作
2020-09-28 23:11:41
413
原创 第03章-博弈，也是有价格的
第03章-博弈，也是有价格的博弈论不是权谋学，不能教大家怎样损人利己。而是在假定人性自私的前提下，思考如何制约与引导人们的行为。011：囚徒困境：当个人利益与集体利益发生冲突时，足够理性的人会优先追求个人利益。在一个群体中，个人做出理性选择却往往导致集体的非理性。背叛，也是有价格的，而聪明人懂得怎样让这个价格大到让对方不会背叛。要摆脱囚徒困境，你可以：第一，增加背叛成本；比如各握有对方把柄，相互制衡。（背叛，也是有价格的）第二，引入第三方；引进外在监督者，减少博弈双方背叛的机会。第三，重
2020-09-27 01:24:18
207
原创 centos 端口测试之nc使用
服务器端口测试是否正常，运维一般使用telnet来检查，但它有局限性，服务器的端口必须存在服务运行。这时使用nc可以在服务端模拟开启一个端口，再通过nc测试此端口，好用！nc是netcat工具的简称，一个网络工具，可以用来端口扫描、文件传输等功能。centos上面安装也很简单：yum install nc -ync常用功能1、实现任意TCP/UDP端口的侦听，nc可以作为server以TCP或UDP方式侦听指定端口2、端口的扫描，nc可以作为client发起TCP或UDP连接3、机器之间
2020-09-26 01:01:00
1533
原创 ip子网掩码计算及子网划分
为什么要懂子网掩码计算，及子网划分属于网络基础知识。一般在几个地方会用到：大公司避免产生网络风暴而划分子网；服务器相互隔离而划分子网，一般机房管理人员规划；安全组IP限制，如阿里云、防火墙出入规则；概念讲解如何计算1、计算出192.168.1.28/26的子网掩码、子网数、可用主机数、网关、广播地址。那么子网掩码10进制转换到2进制就是：11111111.11111111.11111111.00000000前面24位表示网络号，后面8位表示主机数，具体的各参数容量可以参考步骤1.
2020-09-24 00:54:05
1705
原创 第02章-价格，是你想定就定的吗？
第02章-价格，是你想定就定的吗？006：供需定理：供需关系决定价格。经济学告诉我们，产品有价，不是因为制造产品有成本，而是因为市场对产品有需求。产品能卖出什么价，是由市场上供给对于需求的相对稀缺性来决定的。供不应求，价格上涨，供过于求，价格下跌。在商业中给定价进行正确的归因，我们可以学会：第一，抓准真实需求；第二，摸清竞争环境；第三，垄断更高利润。007：需求弹性：就是某种商品的需求量对其价格变化所作出的反应程度。随着价格变化，销量变化大的商品，说明对价格敏感，需求弹性大，这叫价
2020-09-21 23:50:11
363
原创 centos7 yum安装redis及常用命令
redis是什么Redis是一种基于内存的数据结构存储，可持久化的日志型、Key-Value数据库。使用关系型数据库的站点达到一定并发量的时候，往往在磁盘IO上会有瓶颈，这时候配合redis就有一定的优势，因为它具有以下几个特性：基于内存运行，高并发读写；支持分布式，理论上可以无限扩展；丰富的数据类型；持久化，可定时写入磁盘；应用场景缓存“热点”数据（高频读、低频写）计数器，限流器消息队列系统（发布订阅，排行榜）分布式锁，共享session，队列数据类型：Redis提供的数据
2020-09-20 18:25:08
242
原创 elasticsearch 索引清理脚本及常用命令
#!/bin/bash#Author: 648403020@qq.com#date: 2019.03.28# 需要清理几天以前的索引日志CLEAN_DAY=7# 获取N天以前的年月日YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%Y)MONTH=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%m)DAY=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%d)# 获取需要
2020-09-19 00:08:02
506
原创 git 快速入门及常见用法
身为技术人员，都知道Git是干嘛的。从服务端角度它是代码管理仓库，可以多人协作、版本控制、高效处理大型或小型项目所有内容；从客户端讲，它能够方便管理本地分支、且与服务端代码的同步，从拉取、合并、提交等等管理分支都靠它！Git轻量、易于学习，如果不用搭建和维护代码仓库的话（这是运维的事，嘿嘿），只要掌握几个git常用命令即可在工作中轻松应对。下面简单介绍几个概念，同时列出工作中常用的几个命令：主要概念工作区（Working Directory）：就是你在电脑里能看到的目录，或克隆（clone）下来的
2020-09-14 12:13:09
121
原创 第01章-成本，你真的算对过吗？
09.12.2020：第一章001：机会成本：帮你做出更理性的选择。为了得到某一样东西，通常不得不放弃另外一些东西。在经济学里，这些不得不放弃的东西，就是我们当前选择所付出的机会成本。有人这样描述机会成本：鱼与熊掌不可兼得。那么放弃掉的鱼，就是你选择熊掌的代价。002：比较优势：分相对优势和绝对优势，拥有绝对优势，也要考虑机会成本。我做得比你好，也得你来做，事情应该交给机会成本最低的人。运用比较优势，我们可以：第一、在不具备比较优势的事情上，主动出让；第二、在具备比较优势的事情上，
2020-09-13 01:52:43
161
原创 windows mysql安装及常用命令
安装windows版本mysql只是为本地代码调试，不建议用于生产。觉得步骤麻烦也可以直接下载集成环境（如xampp），一键安装即可用。之前本地测试都用一键安装，今天换个方法玩玩，安装步骤如下：mysql安装直接下载归档压缩包即可，解压到你的目录，可不用下载.msi格式的：下载地址：https://downloads.mysql.com/archives/community/我使用的是mysql-5.7.30-winx64.zip环境配置变量名：MYSQL_HOME变量值：D:\Program
2020-09-12 01:40:05
139
原创 centos7 systemctl配置开机自启动服务
centos7使用systemctl替代原来/etc/init.d，按官方的说法是提高系统服务的运行效率、服务配置更加简单易用，对于一些自定义的服务来配置开机自启动，是真的香！概念理解它是服务管理工具，融合之前service和chkconfig功能于一体有系统(system)和用户(user)之分，可直接放/lib/systemd/system目录下以.service结尾，一般分为3部分：Unit、Service、Install参数说明Unit：主要对服务的说明Description：用
2020-09-11 03:58:28
696
原创 python pip手动安装二进制包
python中使用pip安装扩展包的时候，有时候会遇到如下类似报错：Running setup.py install for mysqlclient ... error...(中间报错信息省略)building 'MySQLdb._mysql' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio": https://visualstudio
2020-09-10 01:21:34
1044
原创 centos7使用nginx+uwsgi部署python django项目
在django框架中，我们一般直接通过python manage.py runserver来启动提供服务，但是如果生产环境此方法不可行，而且容易导致异常退出，于是需要借助uwsgi来作为守护进程。操作思路：服务器中安装uwsgi插件新建uwsgi.ini文件，写入uwsgi需要的参数安装nginx，并配置uwsgi_pass 127.0.0.1:9496代理转发启动nginx、uwsgi安装uwsgi插件pip install uwsgi新建uwsgi.ini文件，写入uwsgi需要的
2020-09-09 02:39:55
807
原创 python json.loads()、json.dumps()和json.dump()、json.load()区别
json.loads()、json.dumps()和json.dump()、json.load分别是两组不同用法带s的用于数据类型的转换，不带s的用于操作文件。json.loads()、json.dumps()概念理解json本身是字符串，通过以下两个函数可以进行字典和字符串的转换。因为浏览器不支持字典方式显示，如果请求过来的类型是字典，必须通过json.dumps()函数将字典转换为字符串之后，才可展示。使用案例json.loads()：解码，将JSON格式的字符串转换为字典。>>
2020-09-08 01:20:55
211
安卓adb调试工具，亲测针对安卓7.1可用。
2022-07-19
Python调用Prometheus监控数据并计算.zip
2021-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人