笔记
如是我聞……
这个作者很懒,什么都没留下…
展开
-
Excel重设格式并自动截图保存为图片
Excel 重新设置单元、列宽、颜色等格式,自动截图保存为图片。原创 2022-08-14 10:56:41 · 1312 阅读 · 1 评论 -
0行命令批量安装Python第三方库
安装Python第三方库,常用的安装方法包括源码安装、包管理器安装和离线安装等,如果仅需要安装某一个第三方库,花费时间也不多,就不是我在这里分享的了。最近由于升级了新电脑主机,导致Python程序需要重新安装。原本使用的是Python 3.7版本的,加上大大小小前前后后已经安装的第三方库,我估计第三方库有个,以前试过通过CMD命令行进行逐个安装,耗时至少2小时,安装过程也很无聊。能不能批量安装呢?或者,粗暴一点迁移这些第三方库呢?试试吧,先把python 安装目录下的lib\site-packages这原创 2021-08-15 10:40:13 · 314 阅读 · 1 评论 -
matplotlib画柱状折线图设置双轴不同颜色,X轴中文标签竖排显示
matplotlib画柱状曲线图。从两份表格中导入数据,生成环比增减幅度。本期数据画柱状图,环比增减百分比画折线图。重点:设置双轴显示为不同颜色,主Y轴与柱状图同一颜色;辅助Y轴与折线图同一颜色。X轴中文标签竖排显示,这个竖排可不是旋转90度的那种哦。先看看效果图吧代码:import numpy as npimport pandas as pd #导入pandas库import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['原创 2021-03-28 17:49:48 · 3702 阅读 · 0 评论 -
Selenium绕开多选框实现快捷查询或下载
网原创 2021-03-24 18:28:51 · 171 阅读 · 1 评论 -
pdfplumber批量提取PDF重点内容并保存到csv数据表
同一个文件夹中保存了1000多份PDF文档,需要从每份PDF文档中提取关键的信息,将每一条信息存入csv表格作为一个单元格内容,同一份PDF文档中的多条信息生成一行数据,保存为固定格式的1000多行数据表。解决思路:1、利用pdfplumber模块来实现对PDF文件中的文字和表格进行提取,将提取出来的内容写入一份csv表格中,每一份PDF文件生成一行数据。2、PDF文件中的文字使用正值表达式进行筛选。3、PDF文件中的表格直接提取表格内容,再分列填充为csv表格的新列。4、设置好csv表格的表头信原创 2021-03-23 22:08:11 · 2744 阅读 · 3 评论 -
正则表达式匹配报错的情形
1、剔除文本字符串中的空格>>> import re>>> string = "学 无 止 境">>> print(re.sub(r'\s+','',string))学无止境>>> print(re.sub(r'\s+','**',string))学**无**止**境2、数字匹配>>> num = re.findall('^\d{5}$','123456789')#不是5位数,匹配原创 2021-03-20 22:14:47 · 1150 阅读 · 0 评论 -
tkinter+matplotlib打造“数据分析助手”实现图表自动化
2019年,一次偶然的机会让我接触到Python,听说可以从零开始学,就打算结合自己的工作内容尝试一下。可是70后的我,那时已经是40多岁了,快奔五的人眼睛既近视,又开始老花,学起来确实是困难重重,最主要的是没有参加培训班,完全靠自学,碰到难题的时候经常花费大量的时间去研究。一步一个脚印,一年后,终于可以结合数据分析编写一些简单的代码,大大提升了工作效率。下面是我去年写的一个小助手。每月只需要补充当月的数据,就能实现了多期历史数据按季度、月份、周(星期)的不同统计口径、不同的统计区间进行统计分析和自动画图原创 2021-03-18 23:11:59 · 2943 阅读 · 6 评论 -
Python selenium 去除driver控制台黑框的方法
做selenium网页测试时,每一次运行就会产生一个driver控制台黑框,多次运行后出现了几个控制台黑框要手动一个个关闭,有点烦。这个控制台黑框最好不要弹出来,让它在后台运行。最后我终于找到了解决办法。修改源码,源码文件路径如下:C:\Users\CF-SZ5\AppData\Local\Programs\Python\Python37-32\Lib\site-packages\selenium\webdriver\common\services.py打开services.py,找到文件中star转载 2021-03-14 11:28:28 · 1379 阅读 · 0 评论 -
Python自动创建csv表格并逐行写入数据、自动并存
网页爬取到的数据,或经过批量转换、清洗后的数据,需要写入并保存为csv格式的文件。如果生成大量的、全部的数据后才一次性写入和保存,程序运行过程一遇到中断或中间报错,已处理过的数据尚未保存到csv文件中,只能从新开始,浪费时间。采用一开始生成一个空的csv文件,再逐条数据,逐行写入的方式,即使中间报错中断,已处理的数据也已保存下来了,避免重头再次处理数据。思路:一开始先创建一个空的csv文件,表头信息同时写入。如果csv文件已存在,覆盖原文件。import osimport numpy as np原创 2021-03-13 21:40:33 · 11390 阅读 · 2 评论 -
Python安装pdfplumber库报错解决思路
最近需要批量提取PDF文件内容,虽然网上搜索到有现成的转换软件,但安装后却是试作版本,而且功能较为单一。干脆就自己边学习边使用Python写一个代码,利用pdfplumber模块来对PDF文件的文本和表格进行提取,最后将每一份PDF文件生成一行数据,保存在csv表格中。先记录一下,离线安装pdfplumber模块遇到的问题。公司的电脑都是局域上网,我只能先把pdfplumber模块下载保存到U盘,再进行安装。Python版本号是3.7,下载的pdfplumber是0.5.27自己是新手小白,没办法,原创 2021-03-10 23:08:15 · 11043 阅读 · 7 评论 -
ImportError: cannot import name ‘PyKeyboard‘ from ‘pykeyboard‘报错解决办法
最近做网页自动化测试时,需要使用pykeyboard模块实现自动复制粘贴的功能。但是在安装完pykeyboard以后出现无法导入PyKeyboard。报错:ImportError: cannot import name ‘PyKeyboard’ from ‘pykeyboard’网上查阅了报错的原因,估计是安装的’pykeyboard’模块和关联的其他模块版本不匹配,需要同步安装下面的模块:pyHook-1.5.1pywin32-300PyUserInput-0.1.11.tar.gzpykey原创 2021-02-28 17:56:54 · 11405 阅读 · 46 评论 -
秒匹配2张几万行级Excel表并输出任一列值已变更的行,保存成新的表格
2份Excel表,分别是2个不同日期的客户信息表,各列是每一个客户的名称、证件号码、地址、电话等。现在,需要快速找出哪些客户的信息发生了变更(第二份表格红色单元格是发生变更的信息),按往常Excel表格处理,首先要打开表格,使用vlookup函数逐列对应进行调用、匹配,或者使用if两两判断是否相同,…最后再逐列筛选出变化的数据,复制粘贴后另保存…等一下,利用Python的pandas数据处理,已完成了。先看看代码吧。import pandas as pddata1 = r'D:\测试数据\bo原创 2021-02-21 22:11:59 · 337 阅读 · 1 评论 -
selenium+IE爬取行政处罚信息公示表
爬取某官网的行政处罚信息公示表,先从官网的某省市分站进行数据抓取,每个网页包括10条数据,共31页310份文书,批量下载到行政处罚文书文档,为后期使用python代码合并和数据筛选提供基础的数据信息。目标网页,每页10条信息:详情网页,每页只有一条信息(信息公示表),点击该点信息可以下载保存。首先分析首页链接地址和第二页,第三页及下一页的链接地址,发现首页链接地址差异较大,从第二页开始,地址index后面多了页数编号,index前面多了20713/,找出了规律就好办了。pageurl0='htt原创 2021-02-17 14:52:47 · 791 阅读 · 0 评论 -
scrapy+selenium+IE爬取行政处罚信息公示表遇到的坑
使用scrapy爬取某官网的行政处罚信息公示表,先从官网的某省市分站进行数据抓取,批量下载了行政处罚文书文档,这个过程遇到了好几个坑,下载到的文档打开后结果还是乱码的。新手上路的我,现说说难点,希望走过路过的各位大神,能够帮忙指点一下迷津,不胜感激。第一坑:网站上右键点击可以查看到详情页的链接地址和原码,但是scrapy返回的response是空的,只有网站的框架结构代码。绕道,使用selenium+IE,返回的browser.page_source出现了详情页的链接地址第二坑:对browser.pa原创 2021-02-17 12:09:32 · 374 阅读 · 0 评论 -
按周(星期)统计后自动生成滚动式趋势图
@[TOC](这里## 标题写自定义目录标题)## 标题python日期换算成周数data_yjc[‘批量星期’]=data_yjc.apply(lambda x: x[‘数据生成时间’][0:4]+’-’+x[‘数据生成时间’][4:6]+’-’+x[‘数据生成时间’][6:8], axis=1)#数据日期转换格式成"%Y-%m-%d"data_yjc[‘批量星期1’] = data_yjc[‘批量星期’].apply(lambda x: (datetime.datetime.strptime(x原创 2021-02-08 22:23:05 · 3496 阅读 · 2 评论