Python
文章平均质量分 66
AI创世纪
这个作者很懒,什么都没留下…
展开
-
Python人工智能需要学什么
Python语言在人工智能开发领域有非常广泛的应用,随着人工智能平台的落地应用,未来采用Python语言来开发行业智能产品会是比较常见的选择。然而进行人工智能开发仅凭Python语言是不够的,学习Python人工智能需要学习哪些知识呢?原创 2023-10-18 11:35:49 · 489 阅读 · 0 评论 -
python爬虫采集企查查数据
这时候就需要使用爬虫代理IP 去解决,登陆之后获取企业信息的页面源码,解析所采集的数据,获取到企业的名称和数据代码,处理好验证码,避免爬虫行为被限制,大部分网站均限制了IP的访问量,对于爬虫频繁访问,导致被网站限制,我们还可以通过使用爬虫代理来解决。然后将采集的数据信息保存到文件中即可。企查查,一个查询企业信息的网站,这个网站也是网络爬虫选择采集的对象,这个网站反爬提别厉害,没有一定的爬虫技术,是无法采集成功的。4、储存采集的数据信息。2、采集企业信息页面。3、解析所采集的数据。原创 2023-10-18 11:34:18 · 6090 阅读 · 1 评论 -
Flask与PyQt结合使用时候,阻塞,界面卡死
Flask被激活后。如果为app.run命令指定了任何参数(即使是在线程中),则它会阻塞其他命令。但是在点击开始运行, 写入flask run的代码的时候, PYQT界面卡死了。原创 2023-10-08 16:24:22 · 598 阅读 · 0 评论 -
python遍历判断json是否存在某个key
最近在开发一个数据抓取业务模块,用于抓取本地数据库的部分关键数据, 作为数据分析和统计的依据. 在抓取过程中, 由于不同子业务项目产生的数据结构不是完全一样, 这时候就要用到判断数据节点是否存在的功能, 数据是json格式.原创 2023-09-27 09:50:22 · 833 阅读 · 0 评论 -
python多进程和多线程优缺点
在CPU密集型任务下,多进程更快,或者说效果更好;而IO密集型,多线程能有效提高效率。原创 2023-09-07 16:49:27 · 226 阅读 · 0 评论 -
python异步非阻塞式多进程apply_async
主进程开始运行,碰到子进程后,主进程说:让我先运行个够,等到操作系统进行进程切换的时候,再交给子进程运行。因为我们的程序太短,还没等到操作系统进行进程切换,主进程就运行完毕了。模块的一部分,它用于异步执行函数。这个函数允许你在一个进程池中的多个进程上异步地运行函数,而不需要等待前面的函数完成。,它接受一个整数作为参数并返回该整数的平方。对象,可以使用该对象来获取函数的执行结果或等待函数的完成。在上面的示例中,我们定义了一个简单的函数。下面是一个简单的示例,展示如何使用。创建一个进程池,并使用。原创 2023-09-05 16:55:44 · 2036 阅读 · 0 评论 -
Python:多进程同步共享全局变量(锁,计数器,原子布尔)
最后在进程池中调用执行方法,每个并行的任务在执行完毕会调用锁进行计数器+1,同一时刻只有一个子进程拿到锁实现进程同步,如果不采用锁的方式,在日志中计数器会乱序,但是最终总的值相等。)即可,但是在多进程中,变量是放在不同子进程的数据区中,每个进程都是独立的地址空间,所以用一般的方法是不能共享变量的,multiprocessing模块提供了。:在使用Python多进程并行时需要在进程间共享变量,这些共享的变量可以更好地控制和把握任务执行的情况,比如查看任务进度,提前停止任务等。原创 2023-09-01 14:41:23 · 3507 阅读 · 0 评论 -
Python 多进程之间共享变量
Python 多线程之间共享变量很简单,直接定义全局 global 变量即可。而多进程之间是相互独立的执行单元,这种方法就不可行了。不过 Python 标准库已经给我们提供了这样的能力,使用起来也很简单。但要分两种情况来看,一种是 Process 多进程,一种是 Pool 进程池的方式。原创 2023-09-01 14:18:45 · 905 阅读 · 0 评论 -
python多进程中共享的全局变量
python多进程中使用全局变量是可行的,可以使用multiprocessing模块中的Manager类来实现。不过,在多进程中直接修改共享变量是存在问题的,因为多个进程同时读写同一个变量会出现数据竞争和同步问题。但在多进程的情况下,因为每个进程都拥有独立的内存空间,所以不能直接使用Python中的全局变量来共享数据。但是,由于线程和进程的特点不同,以及GIL(全局解释器锁)的存在,线程共享全局变量的安全问题比进程更为复杂。因此,在多进程的场景中,如果需要共享数据,就需要考虑进程间数据的同步和共享。原创 2023-08-31 17:51:14 · 1728 阅读 · 0 评论 -
python多进程
为了克服这些问题,Python提供了多进程模块(multiprocessing),可以使用多个进程来充分利用多核处理器的优势,避免GIL的限制,同时提供更好的隔离性,使得多进程编程在某些情况下比多线程更合适。但是,很多的线上服务内部是可以并行执行的,而且并行的部分是CPU密集型的任务(比如机器学习模型的推理)。5、GIL导致的长时间任务阻塞:如果某个线程在执行一个长时间的任务,由于GIL的存在,其他线程无法执行Python代码,导致整个应用程序的响应性下降。串行执行,且均在单核(cpu1)上执行。原创 2023-08-31 09:39:54 · 185 阅读 · 0 评论 -
python 多线程是真是假?
所以就出现了我们看到的结果,程序拉起来3个线程,就结束了主线程但是此时线程调用的函数haha()还没来得及输出呢,就被迫跟着程序一起结束了。因为线程是并发执行的,那这时候在第一个work()还没运行完的情况下,第二个线程又启动开始运行了。setDaemon 设置为后台线程或前台线程(默认) 如果是后台线程,主线程执行过程中,后台线程也在进行,主线程执行完毕后,后台线程不论成功与否,均停止 , 如果是前台线程,主线程执行过程中,前台线程也在进行,主线程执行完毕后,等待前台线程也执行完成后,程序停止 .原创 2023-08-31 09:02:12 · 396 阅读 · 0 评论 -
qt通过QFileDialog获取文件路径&保存文件&选择文件夹
QT是一款常用的UI设计工具, 我们在日常开发中经常需要对文件或者文件夹进行操作,下面将介绍QT对于获取文件路径&保存文件&选择文件夹等场景的获取的伪代码.注:适用于各语言的QT,比如python的pyQT之类的。原创 2023-08-30 09:21:51 · 10956 阅读 · 0 评论 -
python pyinstaller打包的exe在win7系统无法运行问题解决方法
近期做了一个溯源码项目(开发工具使用的是pycharm2023.1.3),由于是在windows环境运行,于是采用了pyinstaller打包成了exe.D:\py_prj\ali_kufang\vue\Lib\site-packages就是我当前虚拟环境目录, pyinstaller打包的时候,我也将其写入了打包指令.同时检查一下虚拟环境的python版本,在项目的vue目录下有个pyvenv.cfg文件,该文件有个home,记录着当前的python打包版本.原创 2023-07-12 09:53:06 · 5796 阅读 · 0 评论 -
RSA密钥“BEGIN RSA PRIVATE KEY”和“BEGIN PRIVATE KEY”的区别
所以对于 RSA 私钥,OID 是 1.2.840.113549.1.1.1 并且有一个 RSAPrivateKey 作为 PrivateKey 密钥数据位串。是 PKCS#1,只是一个 RSA 密钥。它本质上只是 PKCS#8 中的密钥对象,但前面没有版本或算法标识符。, 它始终指定 RSA 密钥相反,因此不包含密钥类型 OID。是 PKCS#8,表示密钥类型包含在密钥数据本身中。RSA 私钥 PEM 文件特定于 RSA 密钥。原创 2023-05-10 15:06:33 · 3468 阅读 · 2 评论 -
Python网络编程之TCP
TCP协议,传输控制协议(Transmission Control Protocol,TCP)是一种面向连接的、可靠的、基于字节流的传输层通信协议,由IETF的RFC793定义。TCP通信需要经过创建连接、数据传送、终止连接三个步骤。正在上传…重新上传取消TCP通信模型中,在通信开始之前,一定要先建立相关的链接,才能发送数据。转载 2023-04-21 17:44:17 · 3498 阅读 · 0 评论 -
Python相对路径ImportError:attempted relative import with no known parent package
在这篇文章中,我将会解析这个异常的原因。当你在运行的python脚本。使用了相对引用方式(类似去引用包时,可能会出现这个异常。原创 2023-04-19 16:20:25 · 1405 阅读 · 0 评论 -
python跨文件夹调用别的文件夹下的py文件或参数方式
本文章主要介绍了python运行或调用另一个py文件或参数方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,请提出来。原创 2023-04-18 21:47:16 · 16431 阅读 · 0 评论 -
Python XML转Json
大家都知道python的字典和json类似,那么可不可以先将xml转换成json再去做其他的事情呢?1.下面的Python代码将任意XML格式文件转化为JSON格式(字典)。除Python自带的模块外,不需要依赖其他任何第三方库。最近遇到个接口,需要将XML转换为form-data格式,并排序,排序后再加密。2.XML文件的读取使用Python自带的XML模块。原创 2023-03-27 13:58:11 · 1902 阅读 · 0 评论 -
python3.11.2 No module named ‘_cffi_backend‘
上周 Python 官方发布了 Python-3.11.2 版本。经过了我差不多一周的测试,就我的模型来看其综合性能比 Python-3.10.8 版本提升。安装好后,删除了3.10的虚拟环境 ,换上了3.11.2,提示了No module named '_cffi_backend'(好在这个程序还不能自动交易,不然就可以更快的亏钱了)。不要去纠结这错误哪里报的。原创 2023-03-07 16:55:22 · 2116 阅读 · 5 评论 -
Python PyInstaller exe运行提示缺失api-ms-win-crt-process-l1-1-0.dll
我们在使用pyinstaller打包exe之后,在win10可以运行,在win7运行提示缺少api-ms-win-crt-process-l1-1-0.dll,api-ms-win-crt-process-l1-1-0.dll这个其实并不存在于win10系统之内。原创 2022-12-21 17:38:39 · 2501 阅读 · 0 评论 -
PYTHON MySQL连接本机数据库,由于目标计算机积极拒绝,无法连接
Mysql分配权限各个版本的语句不同,需要根据不同的mysql版本采用不同的分配权限的方式。大家根据真实的使用场景赋值不同的权限,root账户尽量少对外使用。需要提供给外部使用的可以重新create user创建个新用户专门对外。原创 2022-11-26 10:59:32 · 2906 阅读 · 1 评论 -
Python3使用spyne,No module named http.cookies
from spyne.util.six.moves.http_cookies import SimpleCookie这一行引入的http.cookies,但是,引用路径其实到six.moves这里的moves就没了。于是,翻看Python3.10 update文档,其实Python有自己的six,那么sypne这里能改为Python的six模块的http.cookies吗?搜索了一番,大部分回答是缺少openssl支持,于是安装好pyopenssl,依旧报错。说干就干,pip下载了单独的six模块。原创 2022-11-21 14:44:14 · 1891 阅读 · 0 评论 -
Python3调用jar包遇到的坑
jpype.startJVM 启动虚拟机。1. 首先, 检查jdk版本, 还有32位, 64位是有区别的, 最好和你Python的位数保持一致。最常见的, 最麻烦的是 class not found, jar包里面的class没找到.2.路径, 依赖包的路径和jar包的路径, 最好都用绝对路径, 不要用相对路径。原创 2022-11-08 16:44:20 · 730 阅读 · 0 评论