python的multiprocessing模块踩坑记录

前言 最近做多进程多IP爬虫,用到的multiprocessing模块有点坑,这里总结一下,python版本是3.6 踩坑记录 1、multiprocessing模块的子进程是不会复制父进程的数据的,这和fork函数不一样,子进程中不会有父进程中的变量,如果子进程执行的函数所需要的参数比较多,并且...

2019-06-17 15:39:41

阅读数 8

评论数 0

python采用 多进程/多线程/协程 写爬虫以及性能对比

python采用 多进程/多线程/协程 写爬虫以及性能对比,分分钟就将一个网站爬下来! 首先我们来了解下python中的进程,线程以及协程! 从计算机硬件角度: 计算机的核心是CPU,承担了所有的计算任务。 一个CPU,在一个时间切片里只能运行一个程序。 从操作系统的角度: 进程和线程,都是一种C...

2019-06-13 18:05:20

阅读数 93

评论数 0

python2代码批量转为python3代码

由于python存在python2和python3两个主要的版本方向,经常会有将python2的代码转到python3的环境下运行的需求。尤其是跑一些神经网络的代码时有很多是在python2的环境下写的。在python3下运行会遇见很多不兼容,最常见的就是python3中print函数必须加()而...

2019-06-13 17:49:17

阅读数 20

评论数 0

Pycharm中Queue与queue的使用区别

Pycharm中Queue与queue的使用区别 1.Queue或者queue是python自带的标准库,直接import就可以 2.python 2.x 中第一个字母大写是: import Queue q = Queue.Queue(maxsize = 10) 3.python 3.x 中第一个...

2019-06-13 17:27:19

阅读数 19

评论数 0

Python编程之event对象的用法实例分析

本文实例讲述了Python编程中event对象的用法。分享给大家供大家参考,具体如下: Python提供了Event对象用于线程间通信,它是由线程设置的信号标志,如果信号标志位为假,则线程等待直到信号被其他线程设置成真。这一点似乎和windows的event正好相反。 Event对象实现了简单的线...

2019-06-12 15:29:20

阅读数 17

评论数 0

Faker的用法

pip install Faker How to create a Provider How to create a Provider from faker import Faker fake = Faker() # first, import a similar Provider or use...

2019-06-12 10:53:41

阅读数 20

评论数 0

超级有用的三个原则

超级有用的三个原则 闭环原则 如果你能够在完成自己工作任务的过程中,及时的把自己的工作成果反馈给你的Leader,总能够带来各种惊喜。你的反馈或许提升了团队效率,也可能改变了产品决策,同时你会因为持续的反馈获得更为重要的任务和职责。 谁难受谁推进原则 在跨部门或多组协作的时候,到底谁去推进...

2019-06-11 18:11:13

阅读数 20

评论数 0

《时间的玫瑰》阅读笔记

投资不需要高等数学,只需要常识和智慧 投资像孤独的乌龟在与时间竞赛 发现伟大的企业,坚持价值投资 投资要有长远的眼光 要为长期而买进 和时间抗衡 不要轻信 要遵守操作纪律 重视行业的选择 重视实地调研 要选最好的企业投资 选择企业的标准:长期稳定的经营历史;高度的竞争壁垒,甚至是垄断型企业,最好是...

2019-06-11 18:09:04

阅读数 45

评论数 0

AssertionError: Thread.__init__() not called

在使用thread的时候,定义如下类: class newThread(threading.Thread): def init(self, threadID, name, counter): threading.Thread.init(self) self.threadID = threadID ...

2019-06-11 16:46:13

阅读数 37

评论数 0

python queue的用法

import queue #先进先出 q=queue.Queue(2) q.put(123) q.put(456) print(q.get()) print(q.qsize()) # 后进先出队列 q = queue.LifoQueue() q.put(123) q.put(456) prin...

2019-06-06 17:50:21

阅读数 21

评论数 0

python生成器练习

def odd(max): n = 0 while n < max: yield 2*n n = n + 1 # print(2*n) return 'done' f = odd(11) # print(f)...

2019-06-06 17:47:42

阅读数 8

评论数 0

python错误: TypeError: the JSON object must be str, bytes or bytearray, not 'dict'解决办法

当我尝试运行以下代码,来练习使用json.loads()和json.dumps()函数时,系统给我报出了这个错误。 import json text = {"a":1,"b":2,"c":3} j = json.loads(text) p...

2019-06-06 10:35:03

阅读数 11

评论数 0

Python错误:TypeError: 'int' object is not callable解决办法

今天在练习Python类相关的知识时遇到了一个TypeError,也就是类型错误。该错误的意思是Int型的对象是不可调用的(not callable)。 class User(): def __init__(self,name,age,number): self.name = name ...

2019-06-06 10:07:01

阅读数 13

评论数 0

线程池原理及python实现

为什么需要线程池   目前的大多数网络服务器,包括Web服务器、Email服务器以及数据库服务器等都具有一个共同点,就是单位时间内必须处理数目巨大的连接请求,但处理时间却相对较短。   传统多线程方案中我们采用的服务器模型则是一旦接受到请求之后,即创建一个新的线程,由该线程执行任务。任务执行完毕后...

2019-06-05 21:36:09

阅读数 25

评论数 0

成功解决NameError: name 'apply' is not defined

解决问题 NameError: name ‘apply’ is not defined 解决方法 因为python3和python2之间语言断层的原因。python2有一个叫做apply()的全局函数,它使用一个函数f和一个列表[a,b,c]作为参数,返回值是f(a,b,c).可以直接调用这个函数...

2019-06-05 17:46:49

阅读数 17

评论数 0

if __name__ == '__main__':在一个多进程python程序中的必要性

import multiprocessing, time def test(i): while 1: print(i) time.sleep(.2) # if __name__ == '__main__': --- 去掉则会报错 multiprocess...

2019-06-05 15:26:20

阅读数 21

评论数 0

Python 协程的详细用法和例子

从句法上看,协程与生成器类似,都是定义体中包含 yield 关键字的函数。可是,在协程中, yield 通常出现在表达式的右边(例如, datum = yield),可以产出值,也可以不产出 —— 如果 yield 关键字后面没有表达式,那么生成器产出 None。 协程可能会从调用方接收数据,不过...

2019-06-05 11:14:51

阅读数 14

评论数 0

python基础===猴子补丁

>>> class test: def A(self, x, y): return x+y >>> t = test() >>> t.A...

2019-06-04 17:05:02

阅读数 15

评论数 0

并发、并行、同步、异步、多线程的区别?

并发、并行、同步、异步、多线程的区别? 并发:同一时间段有几个程序都处于已经启动到运行完毕之间,并且这几个程序都在同一个处理机上运行,并发的两种关系是同步和互斥; 互斥:进程之间访问临界资源时相互排斥的现象; 同步:进程之间存在依赖关系,一个进程结束的输出作为另一个进程的输入。具有同步关系的一组并...

2019-06-04 16:44:15

阅读数 16

评论数 0

python基础===100盏灯的问题

python基础===100盏灯的问题 闪存里有人这样提问这样: 第一轮操作所有电灯,第二轮操作第2盏,第4盏开关,以此类推,第三轮改变编号为3的倍数的电灯,第3盏,第6盏,如果原来那盏灯是亮的,就熄灭它,如果原来是灭的,就点亮它,以此类推,直到第100轮 用python解决的思路如下: 灯泡有两...

2019-06-04 16:35:48

阅读数 17

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭