- 博客(90)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Python—轻松获取HTML网页内的表格内容并写入数据库
前面说过，使用selenium可以轻松获取网页内的表格内容，但是selenium需要安装浏览器和下载对应的webdriver，不是很方便。我探索出了一个更便利的方式，那就是Python内置的html模块。因为是内置模块，不需要额外做什么。from html.parser import HTMLParserclass MyHTMLParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.in_td =
2021-04-08 16:44:29
2126
原创 Python—用selenium轻松获取网页内表格内容并写入数据库
以前用Python获取网页内容是很繁琐的，先requests.get网页源代码，然后用re的正则匹配各种折腾，才能把表格读取出来，而且调试成本很高，表格一换就失效了。最近学习了selenium，发现用来获取网页内容简直是如鱼得水，代码如下：from selenium import webdriverimport pandas as pddriver=webdriver.Chrome("chromedrive.exe") #谷歌浏览器打开driver
2021-04-01 16:52:27
8022
4
原创 Python—selenium实现以一个浏览器多个标签页打开多个网页
from selenium import webdriverdriver=webdriver.Chrome()driver.get('http://opr.pab.com.cn')driver.find_element_by_id('username').send_keys('chaoyongkang683')driver.find_element_by_id('password').send_keys('Wg588505')driver.find_element_by_tag_name('fo
2021-03-19 21:53:19
16144
原创 Python—使用tkinter制作一款邮件发送小工具
Python的smtplib模块可以从来发送邮件，非常方便，支持附件，支持HTML格式。为此，我用tkinter做了一款可以发送邮件的UI工具，分享给大家。#-*- coding:utf-8 -*-import datetime,os,time,re,requestsimport tkinter as tk #使用Tkinter前需要先导入from tkinter import messagebox,ttkimport smtplibfrom
2021-03-10 19:59:11
945
2
原创 Python—使用tkinter制作一款在线翻译软件
tkinter的功能是如此强大，竟然还能做翻译软件。当然是在线的，我发现有一个quicktranslate模块，可以提供在线翻译功能，相当于提供了一个翻译的接口，利用它就可以制作在线翻译软件了。下面是代码，分享给大家。注意要首先 pip install quicktranslate#-*- coding:utf-8 -*-import tkinter as tk #使用Tkinter前需要先导入from tkinter import message
2021-02-21 23:00:55
1419
3
原创 Python—openpyxl快速设置Excel的单元格格式
Python处理Excel的问题方面，设置单元格格式是无法回避的，这里我主要用openpyxl处理。网上这种资料很多，我这里写了一个函数，汇总了一下。from openpyxl import load_workbookfrom openpyxl.utils import get_column_letter from openpyxl.styles import Font,Border,Side,PatternFill,Alignmentdef set_cells(cells,type,color=N
2020-09-27 11:08:54
9729
原创 Python—使用tkinter一键实现合并多个Excel的工作表的内容
只要是小组工作，经常会遇到这种的场景。比如一个Excel任务表，每人都有任务，我们需要分发Excel到每个人，让每个人各自反馈自己的任务进度，然后汇总过来。传统的做法就是，Excel群发给每个人，每个人各自筛选自己名下的任务，反馈各自任务进度，然后把各自反馈的Excel发给组长汇总。而组长呢，就只好一个个打开各个组员的Excel，一个个复制粘贴拼接内容，如果组员很多，实在是累死人啊。有没有解决办法呢？有条件的可以搞个在线共享Excel,大家都可以上去编辑。但是毕竟更多的单位没有这个条件，我想到了一个比较好
2020-09-23 15:46:42
1905
原创 Python—tkinter应用之日期选择器
如何利用Python的tkinter模块实现日期选择器，根据我在网上的搜索情况，这一块一直是一个盲点。虽然也有接近的答案，并没有真正实用的，我经过几天的探索，终于摸索出一套可用的，分享给大家。首先，定义一个类，叫Calendar，这个是搬运来的。# -*- coding: utf-8 -*- import calendarimport tkinter as tkimport tkinter.font as tkFontfrom tkinter import ttkdatetime = cale
2020-07-19 15:47:39
11896
5
原创 Python—实现Excel文件间的数据匹配(保留单元格式)—告别Vlookup!
我们知道Excel有一个match函数，可以做数据匹配。比如要根据人名获取成绩而参考表sheet1的内容如下：要根据sheet1匹配每人的成绩，用Excel是这么写index(Sheet1!B:B,MATCH(A2,Sheet1!A:A,0))意思就是获取sheet1的B列的内容，根据我的A列匹配sheet1的A列的内容但是如何用python实现这一点呢，我写了一个函数，非常好用，分享给大家。这个函数考虑到了匹配多个字段，多个sheet。import pandas as pddef m
2020-06-12 16:52:37
6597
13
原创 Python—实现Excel的最合适列宽(openpyxl)
Python的Pandas模块是处理Excel的利器，尤其是加工保存Excel非常方便，但是唯独想让导出的Excel自动调整列宽或者行高，确实做不到啊。所以必须openpyxl模块助力。这是最简单的实现：from openpyxl import load_workbookwb = load_workbook('test.xlsx')ws = wb[wb.sheetnames[0]] # 打开第一个sheetws.column_dimensions['A'].wid
2020-06-11 20:13:46
19710
15
原创 Python—实现从一个Excel筛选数据生成另一个Excel(保留所有单元格式)
#第一步 利用Dataframe筛选生成Excel 设定原表为oldfile 新表为newfilefrom openpyxl import load_workbookimport pandas as pdcellmap={}lwriter=pd.ExcelWriter(newfile)alldata=pd.read_excel(oldfile,None)for sheet in alldata.keys(): #遍历每一个sheet celllmap[sheet]={} data=a.
2020-06-11 14:49:59
9619
1
原创 elasticsearch_exporter启动报错 failed to fetch and decode node stats
failed to fetch and decode cluster health" err="HTTP Request failed with code 401"
2024-09-29 13:34:26
463
原创 前端调用后端，出现跨域报错怎么办
我前端是vue，后端是其他同事写的python，因为部署在不同的机器上，我前端如果直接调用他的python，axios请求就会出现跨域报错，如下 blocked by CORS policy 云云。注意，Access-Control-Allow-Origin，可以加多个域名，但如果前端启用了credentials，就只能加一个了。怎么办呢，网上探索了一下午，才找到最可靠的解法。upstream 后端就是某台机的python端口。
2024-08-21 17:38:12
376
原创 prometheus监控zookeeper方案
官方下载地址 https://zookeeper.apache.org/releases.html#download。这里要求zookeeper版本必须达到3.6或以上，用的是官方自带的监控信息。然后在zookeeper的配置文件，比如zoo.cfg最后面加上这一段。比如就把7000端口暴露出来为监控用。然后在普米配置文件配置即可。
2024-03-07 17:06:43
667
原创 Python 解决Cannot compare tz-naive and tz-aware timestamps
Python 解决Cannot compare tz-naive and tz-aware timestamps
2024-01-03 20:20:19
503
原创 Apisix版本升级方案----虚拟机方式
目前apisix官方已经升级到了3.5版本。因为apisix官方升级还是比较频繁的，建议用yum或者rpm安装和升级
2022-09-13 15:04:06
1123
原创 apisix接入dapr范例-虚拟机
apisix接入dapr，关键在于配置dapr服务。这里是已经配好的，对外是3500端口，所以配置上游和路由即可。这里讲的是虚拟机，不是k8s。
2022-08-18 21:09:57
368
原创 kong配置迁移到apisix的实践(可行版)
apisix迁移到Kong是一个业界难题，也是没有找到现有的方案，官网方案测试不可行，于是自己探索
2022-07-15 15:29:22
1091
原创 使用Kafka 0.9.0版本的一个大坑-不要使用didi_manager
kafka 0.9.0 核弹级别的大坑，不能加入到didi manager去
2022-06-13 19:41:43
187
原创 分享一个nginx机器内核配置导致的丢包问题
Nginx是最常见的web服务器，但是Nginx本身的内核参数，会导致别人调用它的服务严重超时，以及丢包。现象就是，通过tcpdump host 1.1.1.1 -w dump.out然后用wireshark工具分析dump.out, 跟踪流信息发现是握手失败,客户端发起的tcp连接请求包没有收到服务端的回包,推测可能是系统层级或者网络层级丢弃了这部分的包。问题原因：nginx server内核参数配置/etc/sysctl.confnet.ipv4.tcp_tw_recycle = 1net
2022-05-19 21:50:09
1710
1
原创 Python—批量telnet域名和端口以及解析域名
最近接到一个需求，要批量解析100多个域名，以及telnet端口是否通。如果一个个用telnet和dig/nslookup，累都累死了，于是考虑用python实现。这里我的思路是用telnetlib建立对象，试着telnet，通了可直接获取IP解析，不通，则通过socket一个功能获取IP解析。(有人推荐dnspython模块，这个是类似dig的功能，但是实践发现很多域名拿不到解析）import pandas as pdimport osimport telnetlibimport socket
2022-05-19 19:57:26
911
原创 python—import yaml失败的解决方法
其实很简单yum install python-yaml就可以了一般 pip install pyyaml也可以，但如果失败，还是前者更好
2022-02-28 18:07:00
4447
原创 Jenkins指定节点构建
Jenkins可以有从节点，指定从从节点构建 ，很简单，Jenkinsfile指定agent就可以了。多分支流水线，就可以这么搞
2021-11-04 18:19:32
1315
原创 Ansible 过滤列表变量中的元素
ansible的变量可以是 字符串 ，列表，字典，最近有这么一个需求，就是把内置的一个列表变量的某个特定元素从列表中 去除掉 。比如ansible 10.1.10.1 -m shell -a 'echo {{ group_names|to_json }}' 结果是10.1.10.1 | CHANGED | rc=0 >>[app1, app2, app3, app4, null]这里就是 10.111.10.1所在的的所有组的列表，其中null是个干扰项，我们要剔除，怎么办呢？这
2021-10-27 14:32:08
736
轻量级文本文件比对小工具
2020-07-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人