解决:python同时执行多个.py文件(挂起多个程序)——线程并发

python3网络爬虫开发实战 同时被 2 个专栏收录
24 篇文章 1 订阅
27 篇文章 0 订阅

python IDE :pycharm
运行任务:代理池(Python爬虫代理IP池(proxy pool)),url:https://github.com/jhao104/proxy_pool

代理池启动方式:
在这里插入图片描述

如上所述:启动代理池时发现需要同时启动两个py文件,但是每次去找到两个不再同一个位置的文件然后启动它们特别麻烦。
于是,我想在一个py文件中进行代理池调用的集成。

在启动这个代理池时遇到了麻烦,每当我启动这个代理池时,需要运行两个命令
在这里插入图片描述
但是在运行过程中运行到第一个命令后,第二个命令不会允许,因为前一个命令是一个不会自动终止的爬取ip地址的程序,不关闭时会一直挂着,于是第二个命令就无法运行。

解决方法一:在Allow running in parallel选项打勾(无效!!!
博主nihate:《pycharm中同时运行多个.py文件》的解决方法为在pycahrm run 的 edit config 里面勾选一个Allow running in parallel选项。
但是这个是让同一个py文件运行多次,并不符合其标题名同时运行多个.py文件。因为同时运行多个.py文件应当为同时运行多个不同的.py文件,如果同时运行多个相同.py文件应该叫多次运行一个.py文件。其检测效果为:一个py文件可以同时运行,如下图:
在这里插入图片描述

有的文章认为在命令中增加 “&”,以及自己尝试的“and”这样都只能运行第一个py文件,实测均为无效
解决方法二(***最终解决方法!!!!***):

线程并发
博主weixin_30684743:《python一个文件里面多个函数同时执行(多进程的方法,并发)》解决了我的这个问题
在这里插入图片描述
运行结果如下图:
在这里插入图片描述
黑色部分为第一个爬取ip并验证的py文件的运行结果,第二个为启动api以备ip地址调用的py文件。

[1]https://blog.csdn.net/nihate/article/details/85164458?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158657004819724845034038%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=158657004819724845034038&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_SOETLBAIDU-3
[2]https://blog.csdn.net/Eric_LH/article/details/86482326?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158657004819724845034038%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=158657004819724845034038&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_SOETLBAIDU-2
[3]https://blog.csdn.net/weixin_30684743/article/details/101355138?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158656961919724811810701%2522%252C%2522scm%2522%253A%252220140713.130056874…%2522%257D&request_id=158656961919724811810701&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-blog_SOOPENSEARCH-1

  • 4
    点赞
  • 1
    评论
  • 26
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 鲸 设计师:meimeiellie 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值