python
文章平均质量分 81
xcntime
看雪
展开
-
Python实现字符型图片验证码识别完整过程详解
验证码是目前互联网上非常常见也是非常重要的一个事物,充当着很多系统的防火墙功能,但是随时OCR技术的发展,验证码暴露出来的安全问题也越来越严峻。本文介绍了一套字符验证码识别的完整流程,对于验证码安全和OCR识别技术都有一定的借鉴意义。转载 2022-10-05 19:43:42 · 410 阅读 · 0 评论 -
Selenium绕过浏览器指纹的三种方法
在调用某些模块的时候,也是进程,而在多进程中,你程序中的进程不会被阻塞,而一直循环起进程。如果使用pyinstaller对undetected-chromedriver直接进行打包,那打包后的exe大概率无法运行的。本文分享自作者个人站点/博客:https://blog.csdn.net/sxf1061700625。如有侵权,请联系 cloudcommunity@tencent.com 删除。,欢迎热爱写作的你一起参与!反正我是没成功,大家仅供参考。我也没成功,大家可以试试。转载 2022-09-30 10:35:36 · 1019 阅读 · 0 评论 -
Python解释器的几种实现版本
在选择Python语言进行软件开发时,我们面对的实际是一套大型语言生态系统——其中包含各类涵盖无数编程需求的软件包。但除了从GUI开发到机器学习的各类库之外,各位还能够从多种Python运行时中作出选择——其中部分运行时也许更适合您当前的用例条件。下面,我们将简单介绍目前最常用的几款Python发行版——从标准实现(CPython)到针对速度进行优化的版本(PyPy),再到特殊用例(Anaconda、ActivePython)乃至最初为完全不同的其他语言设计的运行时(Jython、IronPython)转载 2021-11-18 16:57:27 · 669 阅读 · 0 评论 -
python selenium 获取标签的属性值、内容、状态方法
前戏在进行web自动化的时候,我们有时需要获取元素的属性,有时需要添加,有时需要删除,这时候就要通过js来进行操作了实战from selenium import webdriverimport unittestdef addAttribute(driver, elementobj, attributeName, value): ''' 封装向页面标签添加新属性的方法 调用JS给页面标签添加新属性,arguments[0]~arguments[2]分别 会转载 2021-09-16 09:13:36 · 2782 阅读 · 0 评论 -
脚本代码混淆-Python篇-pyminifier(2)
2019-11-06阅读8900微信公众号:七夜安全博客 关注信息安全技术、关注 系统底层原理。问题或建议,请公众号留言。前言在上文中,我们讲解了pyminifier中简化和压缩代码的功能。本篇作为第二篇,也是最终篇,讲解一下最重要的功能:代码混淆,学习一下这个项目的混淆策略。大家如果觉得不错的话,一定要分享到朋友圈哈,写了快5000字,基本上每一个细节都给大家拆分出来了,贴了一部分关键代码,会长一些,一定要有耐心哟。一.混淆效果在讲解混淆策略之前,先看一下混淆的效果,恶不恶心,哈.转载 2021-05-30 22:21:43 · 1409 阅读 · 1 评论 -
如何保护你的 Python 代码 (二)—— 定制 Python 解释器
ProdesirePythonista,微软MVP。公众号:Prodesire59 人赞同了该文章本文同步发表于Prodesire博客。相关文章:Prodesire:如何加密你的 Python 代码 (一)—— 现有加密方案0 前言考虑前文所述的几个方案,均是从源码的加工入手,或多或少都有些不足。假设我们从解释器的改造入手,会不会能够更好的保护代码呢?由于发行商业 Python 程序到客户环境时通常会包含一个 Python 解释器,如果改造解释器能解决源码保护的问题,那么也是..转载 2021-05-30 22:11:10 · 218 阅读 · 0 评论 -
Pandas教程 | 超好用的Groupby用法详解
易执公号:Python读财498 人赞同了该文章在日常的数据分析中,经常需要将数据根据某个(多个)字段划分为不同的群体(group)进行分析,如电商领域将全国的总销售额根据省份进行划分,分析各省销售额的变化情况,社交领域将用户根据画像(性别、年龄)进行细分,研究用户的使用情况和偏好等。在Pandas中,上述的数据处理操作主要运用groupby完成,这篇文章就介绍一下groupby的基本原理及对应的agg、transform和apply操作。为了后续图解的方便,采用模拟生成的10个样本数据..转载 2021-05-25 23:38:48 · 1912 阅读 · 1 评论 -
Pandas groupby函数 transform函数 实战
Pandas(Python)中的transform函数一开始可能有点难以理解,并且大多数数据科学家不会马上使用到它。 但对于数据科学家来说,transform函数是一个用于数据清洗、转换或者生成报表的非常方便的工具,尤其是对于大量数据的处理速度上。应用实例考虑这样一个例子,我们有来自某商店的表格如下:某商店的销售数据而我们希望生成一个新列,统计每个用户的平均购买额,如下:我们希望生成的表我们起码有两种方法实现这个操作:先采用groupby计算平均并生成一个新的dat...转载 2021-05-25 14:05:35 · 8422 阅读 · 2 评论 -
Pandas 中 SettingwithCopyWarning 的原理和解决方案
Pandas 中 SettingwithCopyWarning 的原理和解决方案原文链接:https://www.dataquest.io/blog/settingwithcopywarning/原文标题:Understanding SettingwithCopyWarning in pandas原文发布时间:5 JULY 2017(需要注意时效性,文中有一些方法已经弃用,比如ix)作者:Benjamin Pryke译者:Ivy Lee学习 Python 数据分析的同学总是遇到这个警告,查...转载 2021-05-23 20:42:43 · 1242 阅读 · 0 评论 -
Pandas切片操作:很容易忽视的SettingWithCopyWarning
Pandas是一个强大的分析结构化数据的工具集,主要用于数据挖掘和数据分析,同时也提供数据清洗功能。很多初学者在数据的选取,修改和切片时经常面临一些困惑。这是因为Pandas提供了太多方法可以做同样的事情,方法选择不当,可能导致一些意想不到的错误。Pandas切片Pandas数据访问方式包括:df[] ,.at,.iat,.loc,.iloc(之前有ix方法,pandas1.0之后已被移除)df[] :直接索引 at/iat:通过标签或行号获取某个数值的具体位置。 loc:通过标签选取数原创 2021-05-23 20:27:01 · 216 阅读 · 0 评论 -
VBA中的ColorIndex信息
The names for colors appears to have a wide variance; I am trying to find what Microsoft generally calls them if they are not named in Excel.The following colors has been used in Microsoft KB documentation probably for the first 16 colors:Black, Blue,.原创 2021-04-19 23:56:05 · 2214 阅读 · 0 评论 -
python标准库之timeit模块
python标准库之timeit模块--- 测量小代码片段的执行时间源码:Lib/timeit.pyhttps://docs.python.org/zh-cn/3.8/library/timeit.html该模块提供了一种简单的方法来计算一小段 Python 代码的耗时。它有命令行界面以及一个可调用方法。它避免了许多用于测量执行时间的常见陷阱。另见 Tim Peters 对 O'Reilly 出版的Python Cookbook中“算法”章节的介绍。基本示例以下示例显示了...原创 2021-04-13 21:38:31 · 924 阅读 · 0 评论 -
python标准库之itertools模块
itertools是python内置的模块,使用简单且功能强大,这里尝试汇总整理下,并提供简单应用示例;如果还不能满足你的要求,欢迎加入补充。一、组成itertools主要来分为三类函数,分别为无限迭代器、输入序列迭代器、组合生成器,我们下面开始具体讲解。二、无限迭代器1、Itertools.count(start=0, step=1)创建一个迭代对象,生成从start开始的连续整数,步长为step。如果省略了start则默认从0开始,步长默认为1如果超过了sys.maxin..原创 2021-04-13 19:14:24 · 12488 阅读 · 0 评论 -
python xlwings 复制工作表
python xlwings 复制工作表其实xlwings并没有提供复制工作表的相应函数,要实现复制工作表功能,需要调用excel的vba里面的相应方法worksheet.Copy下面看excel vba的帮助文档:应用于 Chart、Charts、Sheets、Worksheet 和 Worksheets 对象的 Copy 方法。将指定工作表复制到工作簿的另一位置。expression.Copy(Before, After)expression 必需。该表达式返回上面的...原创 2021-04-12 21:04:37 · 10374 阅读 · 6 评论 -
Python测试不同Excel库的处理速度-xlrd 、Openxl、xlwings
不同的库操作Excel速度测试,通过读取大文件的方式进行对比测试:openxl_time wirte打开文件: 17.1607027053833按照单元格遍历程序结束: 17.16170334815979打开文件很慢,但是遍历单元格很快openxl_time read打开文件: 5.658100128173828按照单元格遍历程序结束: 13.714594841003418只读方式打开,速度快,但是单元格遍历很慢xlrd打开文件: 3.691128969192505按照单元格遍历程序结转载 2021-04-08 14:08:58 · 2016 阅读 · 0 评论 -
教你用Python轻松实现自动导入缺失的库,再也不用手动安装了
在写 Python 项目的时候,我们可能经常会遇到导入模块失败的错误:ImportError: No module named 'xxx’或者ModuleNotFoundError: No module named ‘xxx’。导入失败问题,通常分为两种:一种是导入自己写的模块(即以 .py 为后缀的文件),另一种是导入三方库。本文主要讨论第二种情况,今后有机会,我们再详细讨论其它的相关话题。解决导入 Python 库失败的问题,其实关键是在运行环境中装上缺失的库(注意是否是虚拟环境),或者使用恰当转载 2021-04-08 13:49:08 · 1324 阅读 · 0 评论 -
pycharm+gitee环境搭建(超详细)
pycharm+gitee环境搭建(超详细)背景:本地开发代码在没有云托管的时候代码很容易丢掉,如果是小团队,这时候可以使用公司团队注册一个账号共同使用。如果是个人用于代码存储或者用于以后项目经验也推荐gitee。大的团队可以购买环境:windows为例+2019最新的pycharm社区版使用国内的Git托管服务——码云(gitee.com)的对比:1、和GitHub相比,码云也提供免费的Git仓库。此外,还集成了代码质量检测、项目演示等功能。2、对于团队协作开发,码云还提供了项目管理.转载 2021-04-07 10:16:16 · 2042 阅读 · 1 评论 -
Python正则表达式指南
Python正则表达式指南本文介绍了Python对于正则表达式的支持,包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式,这些主题请查看其他教程。注意:本文基于Python2.4完成;如果看到不明白的词汇请记得百度谷歌或维基,whatever。尊重作者的劳动,转载请注明作者及原文地址1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具,拥有转载 2021-04-02 17:32:53 · 120 阅读 · 0 评论 -
Python正则表达式re 入门教程
python 中的re模块re 模块为Python的内置模块,Python程序中通过这个模块来使用正则表达式。re 模块的使用re 模块有两种使用方式,示例中以match方法为例。方式 1:步骤:1)直接使用 re.match 方法(传入正则表达式和需要匹配的字符串)对文本进行匹配查找,match方法返回一个 Match 对象2)使用 Match 对象提供的方法获取匹配结果示例:import rem = re.match(r'\d+', '123abc456')转载 2021-04-02 17:30:57 · 817 阅读 · 0 评论 -
xpdf转换中文pdf时报错字库缺失:Unknown character collection Adobe-GB1
通过XPDF读取PDF内容并转化为txt格式的过程中,可能会出现如下提示:Syntax Error: Unknown character collection 'Adobe-GB1'Syntax Error: Couldn't find 'UniGB-UTF16-H' CMap file for 'Adobe-GB1' collectionSyntax Error: Unknown CMap 'UniGB-UTF16-H' for character collection 'Adobe-GB1'原创 2021-03-31 21:28:50 · 1534 阅读 · 0 评论 -
python断网环境 离线安装第三方包
python断网环境 离线安装第三方包,主要依赖pip的相关用法,比较简单的方式有:先看pip的相应参数,命令行执行pip -h,可以看到参数很多:方法一.在另一台电脑逐一下载相关安装包,在断网主机上依次安装相应安装包pip download -d F:\ZK\py\whl\py387 xlrdpip download -d F:\ZK\py\whl\py387 -i https://pypi.doubanio.com/simple/ xlwtpip download -d F:\ZK\p原创 2021-03-27 19:19:09 · 2900 阅读 · 0 评论 -
Python中搭建venv虚拟环境
Python3.3以上的版本通过venv模块原生支持虚拟环境,可以代替Python之前的virtualenv。该venv模块提供了创建轻量级“虚拟环境”,提供与系统Python的隔离支持。每一个虚拟环境都有其自己的Python二进制(允许有不同的Python版本创作环境),并且可以拥有自己独立的一套Python包。他最大的好处是,可以让每一个python项目单独使用一个环境,而不会影响python系统环境,也不会影响其他项目的环境。优点使不同应用开发环境独立 环境升级不影响其他应用,也不...原创 2021-03-27 17:27:40 · 1265 阅读 · 0 评论 -
xlwings0.20.0以上版本不再支持python3.5
https://docs.xlwings.org/zh_CN/latest/whatsnew.html#v0-20-0-jul-22-2020https://docs.xlwings.org/zh_CN/latest/installation.html?highlight=python%203.8#prerequisitesv0.20.0 (Jul 22, 2020)This version drops support for Python 3.5Here are the last v.原创 2021-03-27 15:33:13 · 675 阅读 · 0 评论 -
将Python脚本打包成可执行文件
http://www.cnblogs.com/mywolrd/p/4756005.html将Python脚本打包成可执行文件Python是一个脚本语言,被解释器解释执行。它的发布方式: .py文件:对于开源项目或者源码没那么重要的,直接提供源码,需要使用者自行安装Python并且安装依赖的各种库。(Python官方的各种安装包就是这样做的) .pyc文件:有些公司或个人因为机密或者各种原因,不愿意源码被运行者看到,可以使用pyc文件发布,pyc文件是Python解释器可以识别的.转载 2021-03-24 23:01:07 · 164 阅读 · 0 评论 -
Python 发布自己开发的库至Pypi Upload failed (403): Invalid or non-existent authentication information
发布你自己的轮子 - PyPI打包上传实践Uploadfailed(403):Invalidornon-existentauthenticationinformation错误原因:python setup.py sdist upload,上传方法目前已淘汰。解决方法:使用twine:twine upload dist/*本文仅讨论上传相关的步骤,关于如何给写一个setup.py请参阅官方文档:https://docs.python.org/2/dis...上传...原创 2021-03-24 22:27:35 · 3150 阅读 · 2 评论 -
pandas concat “InvalidIndexError: Reindexing only valid with uniquely valued Index objects“
利用pandas的concat方法可以对多个DataFrame进行快捷的堆叠,非常方便,但是在使用concat会出现“pandas.errors.InvalidIndexError: Reindexing only valid with uniquely valued Index objects”的提示,翻译过来就是:使用pandas对df进行concat操作时,相应的行、列索引必须唯一。但是也有一个例外情况,是什么呢,下面慢慢道来。首先,创建几个df进行演示:先对df1,df2进行纵行、横行的拼原创 2021-03-24 17:53:34 · 28464 阅读 · 2 评论 -
xlwings最全操作;10秒搞定Xlwings全套操作
import xlwings as xwapp = xw.App(visible=True, add_book=False)app.display_alerts = False # 关闭一些提示信息,可以加快运行速度。 默认为 True。app.screen_updating = True # 更新显示工作表的内容。默认为 True。关闭它也可以提升运行速度。wb = app.books.add()sht = wb.sheets.active'''工作簿'''# wb = a.转载 2021-03-21 22:29:43 · 7066 阅读 · 4 评论 -
Python logging自定义字段输出及打印颜色
logging模块是Python的一个标准库模块,开发过程中,可以通过该模块,灵活的完成日志的记录。logging模块提供了两种记录日志的方式:1)使用logging提供的模块级别的函数(logging.basicConfig,logging.debug,logging.info...)2)使用logging模块的组件(loggers,handlers,filters,formatters)简单示例 1 2 3 4 5 6 7转载 2021-03-19 22:29:03 · 626 阅读 · 0 评论 -
Python日志输出不同颜色字体并打印到日志文件
不管是客户端还是服务端,总是有大量的log在打印,想找到关键的几条真是不容易。调查了一下在Python里打印带颜色log的办法,这里应该是最简单的了,不需要任何外部库,并且Windows和Linux都支持。使用方法进入Python命令行,程序入口处执行个os.system(''),以后在想打印的字符两边插入几个特殊字符就可以了这里,\033是八进制的27,也就是ASCII里的Escape。[31m指的是后面的东西变成红色,[0m指的是后面的东西恢复默认。[32m指的是后面的东西变成绿色,[.转载 2021-03-19 22:03:35 · 1752 阅读 · 1 评论 -
Python3之模块及包的导入 import用法
一、模块导入1.定义Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句。模块让你能够有逻辑地组织你的 Python 代码段。把相关的代码分配到一个模块里能让你的代码更好用,更易懂。模块能定义函数,类和变量,模块里也能包含可执行的代码。包括:内置模块,自定义模块,第三方模块;2.作用最大的好处是大大提高了代码的可维护性。其次,编写代码不必从零开始。当一个模块编写完毕,就可以被其他地方引用。我们在编.转载 2021-03-18 11:09:10 · 2191 阅读 · 0 评论 -
python pandas读取excel时动态确定标题行所在行数
我用python pandas读取了一个excel数据:import pandas as pddata = pd.read_csv('..../file.txt', sep='\t' )模拟数据如下所示:^{pr2}$本例中的数据在命中头之前包含3个垃圾行(我不想读入的行),有时它包含4个或更多垃圾行。所以在这个例子中,我读到了数据:data = pd.read_csv('..../file.txt', sep='\t', skiprows = 3 )数据看起来像:原创 2021-03-16 15:03:14 · 4377 阅读 · 1 评论 -
pip及ensurepip缺失处理办法,以及window下pip安装办法
前情提要:1. 装一个包时,提示我需要升级pip,升级到一半失败了。第二天pip install 时候发现pip不能用了,提示No module named pip2. 于是搜了其他人的办法,说用:python -m ensurepippython -m pip install --upgrade pip3. BUT!!! 却提示我No module named ensurepip,(哭…为啥人家两行代码搞定的事情我这么麻烦)解决办法:痛定思痛,我决定重装pip!1. 下载pip..转载 2021-03-12 11:35:09 · 1637 阅读 · 0 评论 -
解决conda创建新环境慢 conda install 速度慢 报错问题
在使用conda create 创建新环境或者利用conda install 安装软件包的时候,大部分同学应该都遇到过安装速度慢(主要因为下载速度过慢,或者下载到一半出错的问题)网上的解决方案通常是将conda改为国内的清华源或者中科大源但在我的系统下 Miniconda4.8.3(python3.7.4) + win10,该方法无效,更改清华源、中科大源之后问题依然存在。2019年之前未发生此类问题,故猜测原因可能是与19年conda暂停授权有关,虽然后面又进行了恢复。解决此问题方法之一是原创 2021-02-20 00:35:32 · 10639 阅读 · 2 评论 -
Python学习准备:Anaconda和Pycharm的安装及环境创建
这几天换电脑,需要重新配置这些环境,加之之前一直有写博客总结的想法,正好以此为开始,之后不间断更新。从今天开始,希望自己能坚持写下去!自己之前主要用的就是Anaconda和Pycharm,所以这一次记录的就是这两种的安装方法。一、Anaconda1.Anaconda是什么? Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anac...转载 2021-02-20 00:02:06 · 372 阅读 · 0 评论 -
最好的Python零基础Pandas教程(可以下载)
今天给各位分享一下鹅厂数据分析师 cooper 的 Pandas 学习经验,争取让你十分钟入门 Pandas。你可能零编程基础,但你应该会 Excel。入门 Python 最简单的途径就是去学习它最基础也是最重要的库之一:Pandas。一方面这个库不难学,可以结合着你会的 Excel 来练习;另一方面,一旦你学会 Pandas 它就会发现比 Excel 做数据分析效率高太多了,能让你更加自信去地继续学习 Python。Pandas 是一个高效而便捷的 Python 工具包,广泛应用于数据处理与转载 2021-02-01 17:22:29 · 804 阅读 · 0 评论